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中 译本 前 言 


我 很 高 兴 我 们 的 著作 被 译 成 中 文 出 版 . 计算 数 党 在 当代 中 国 
止 有 很 大 的 发 展 .这 些 成 就 是 在 已 帮 尖 康 教授 的 领导 下 取得 的 ,他 
的 工作 是 开创 虱 和 播种 性 的 .数值 代数 是 至 关 重 要 的 , 主 无 疑问 入 
中 国 它 已 经 很 兴旺 .中国 高 等 院 校 坚实 的 数学 训练 ,造就 了 许多 优 
秀 的 青年 数值 分 析 专 家 ,这 使 美国 和 其 他 西 盯 国家 受益 胁 浅 . 

我 希望 中 译本 能 进 -- 步 增强 中 国 读者 对 该 领域 的 兴趣 ,并 吉 
强 我 们 在 该 领域 的 联系 与 合作 . 


Gene H. Golub 
2000.9. 14 
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译 者 前 言 


Gene H. Golub 是 美国 Stanford AFR, SHAM h(E 
Th .美国 工程 院 ) 院 十 ,是 当今 世界 上 上 最善 名 的 数值 线性 代数 专 
家 .他 各 Charles F. Van Loan 734A) “Matrix Computations” 3€ B 
aU E Pr E MATERA IB] Bz AX ee 2 I BJ -- RES. KG 
1983 年 出 版 ,1989 年 此 版 ,本 书 伴 白 1996 年 的 第 三 版 . 

1989 年 ,我 要 在 中 国 科学 院 研 究 生 院 讲 授 " 数 值 线 人 注 代 数 ”， 
就 给 Golub 教授 发 了 个 E-mail 表示 希望 能 用 他 们 的 专 着 作为 教 
$4 .ft 488 ib Johns Hopkins 大 学 出 版 社 给 我 寄 来 了 省 林 正式 出 版 
的 第 二 版 的 校 样 -本 .多 年 来 ,这 本 书 一 直 蚌 我 在 研究 千 院 讲 “ 数 
值 线 性 代数 "的 教材 . 

该 书 的 翻译 工作 是 由 我 和 我 们 所 三 位 研究 生 合作 进行 的 ,1 一 
3 章 由 我 日 已 翻译 ,其 他 的 章节 由 三 位 研究 千 先 译 出 -一 个 初稿 ( 叶 
军 涛 负责 4 一 6 ERRAR 7-8 EY, SRA fh HE 9— 12 章 ), 然 
后 全 书 由 我 来 统 校 . 

该 书 原 文 {英文 ) 瑟 帮 优 美 , 由 于 译 者 光 论 是 英文 还 是 中 文 水 
FRAR ,难免 会 有 不 有 要 之 处 ,欢迎 广大 读者 批评 指正. 

A BAIRE A Di AUFS SI [58] KARAS RSE = H Es] 3) š e 
究 生 教材 建设 基金 的 支持 ,在 此 表示 感谢 .我 还 机 感谢 科学 出 版 社 
的 林 吕 先生 对 此 书 出 版 所 给 予 的 支持 . 


中 国 科学 院 计算 教学 与 科学 工程 计算 研究 所 
3 TE 3 
1999.9.4 
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第 一 章 和 矩阵 乘法 


81.1. 基本 算法 与 记 叶 

$ 1.2 利用 结构 

$ 1.3 REBAR 

$1.4 向 量化 与 数据 重复 使 用 


研究 矩阵 计算 的 台 延 出 发 点 是 矩阵 与 算 阵 的 乘法 .这 一 问题 
在 数学 上 虽然 简单 .但 从 计算 上 来 看 却 是 二 分 丰 窗 的 ,人 在 1.1 
中 ,我们 看 到 和 矩阵 相 乘 可 以 有 好 几 种 不 同 的 方式 .引进 了 分 块 定 
阵 , 并 将 共用 来 刻画 计算 上 的 几 种 线性 代数 的 "级 ”. 

如 果 - -个 托 阵 具有 其 种 结构 ,常常 可 加 以 利用 .例如 ， -个 对 
称 和 矩阵 只 需 一 个 RHR — F BJ SRDS. FERRE P., 
3 RB BE PATE SS CK Maak TF 26 il Kina]. 这 些 问 题 将 在 
$1.2 中 讨论 . 

TES L3 tog X T pi pi S. EREE - "HH EE E H pR BJ 
AE E. xx ES X6 k TRE I 5 efe aps TORE, E 
pit] di Hp D Ab 43 BE IRE hi , 2 Eo e 
是 数值 线性 代数 的 基石 .从 计算 的 角度 看 IRR AA Bete 
能 计算 机 结构 都 普 于 进行 的 矩阵 运算 , 因 市 是 里 要 的 . 

这 些 新 的 结构 要 求 算法 设计 痢 对 存储 通信 与 实际 的 计算 量 问 
等 重视 .科学 计算 的 这 :点 在 8$1.4 中 前 明 , 在 这 一 节 将 讨论 . 回 
Bit Kit He D # : p| ARE, p] EAR E BOR] FE 
级 . 


预备 知识 
熟悉 MATLAB 语言 足 重要 的 ,可 参阅 Pratap( 1995) 4 Van 


Loan 1996) [4 EJ. E F S TERE MR HB —-RKEARAITBE 
Dongarra, Duff, Sorersen 和 Vorst 1990). @ HHA LAPACK 相关 
的 软件 如 下 : 


LAPACK ; -此 - 般 返 算 
SCAL rar HR 
-POT usa ly FIEL 
. AXPY fo yaa T+ y SAXPY 
GEMV vada + By FE E£ Ja] Bt Ae 
__ GER AA t ary! RE | ETE 
c+ @AB + Bc A PE #H Fe 


LAPACK: - 些 对 称 运 算 
_ SYMV yeaa + By | JE P [5] EL HH 3E 
__ SPMV yeraAr + By ^R FE i AE 
— SYR Aaner + À 和 1 修正 
— SYR? A*-ory'tayrl- A fk 2 HE 
__ SYRK C-—5AAT 4 pC ` KEE 
. SYR2K C+oAB'+ BA! + ac 秩 2k Hur 


CeadB+AC 或 (aBA + BC) wR RRR 


LAPACK; HAR ABA 


GBMV y*-aÀx + Ay 一 船 带 状 
SBMV yar + By 对 称 带 状 
_ TBMY I fi 
TPMV wt añ =A PE CRF FF) 
H-—aAB S (aoBA) Ai 7 — OH 


$1.1 基本 算法 与 记号 


托 阵 计算 是 基于 线性 代数 运算 的 , 内 积 运算 包括 标量 的 加 法 
和 乘法 ,矩阵 向 量 相 乘 由 内 积 组 成 ,第 阵 与 矩阵 相生 相 当 于 一 系列 
BJ p AE h] EHR. 所 有 这 些 运算 部 可 以 用 算法 形式 或 者 用 线性 代 
数 的 语言 来 描述 .这 - - 节 的 主要 任务 是 说 明 这 两 种 去 达 方 式 如 何 
互补 .我 们 将 过 步 引 人 一 些 记 叶 以 及 让 读者 骨 悉 年 阵 计算 领域 最 根 
本 的 思维 方式 ,讨论 将 围绕 矩阵 相 乘 ,这 种 计算 有 几 种 不 同 的 方式 ， 


1.1.1 矩阵 记号 
ERRER EG, on" "表示 所 有 zn 行 n YE REE A GY o E 


空间 : 
aj rra i, 
A € "64A = (a) | : Dy a Ee. 
dm ocn aul 
AUR—-^P ASS RECA ALBA) Ka — TB EE, , 则 带 下 标 G 的 对 
应 的 小 写字 母 ( 如 a, 0, L8, J AR BER TECH) ) 的 元 素 .适当 时 ,我 
HERALA MAG, DORRERA. 


1.1.2 和 矩阵 运算 
HAS E IE TT e rm), 


— T — 
FU Cim ae ortos emet), 
C = At B => Cy 一 a 
be REPERIO x mme m), 
C = oA — C; = at ss 


ANREP SEPERATE QU xo Pme men), 


P 
C = AB — c; = >) aaby. 
-t X. 


rj + b, 1 


这 些 运算 是 矩阵 计算 的 基本 运算 ， 
1.1.3 向 量 记 号 


K^ XR n 维 实 向 量 空间 : 


r € a"er = > BEK, 


Cy 
我 们 记 x, Ac 的 第 7 个 元 素 . 根 据 文 中 需要 RNA], 
Ax Ci FAR Ox. 
注意 到 :等 于 :2 所 以 和 中 的 元 素 是 列 向 量 . 在 另 一 方 
面 ,， i ** 中 的 元 素 是 行 向 量 : 
r € sey = Carpet Ep). 
如 果 xz 是 一 个 列 向 量 , 则 y= +! AAR. 


1.1.4 向 量 运 算 


假定 aE, >C 2" Hl y € n lU PE KI8 E ë W 5) YS En Er - li E: 
FH: 


z = ar — zr, = Xj 
向 量 加 法 : 
z = ++ y= z; = Z, T ys 
A BL RR PIER : 


c= rly = p 一 > ns. 
向 量 相 乘 ( 或 称 Hadamard RED: 
z = r * y = z, = quy. 
为 一 个 非常 重要 的 运算 是 saxpy, 它 具有 修正 形式 : 
y = arty > y; —anty. 
这 里 RPS“ =" AR te zF BB A dE E) =. kje EE al 
E y, 它 的 名 称 saxpy 是 在 LAPACK 中 所 用 的 ,LAPACK 是 一 个 


KAR BP 89 BAK A 3: CARE EL saxpy 是 标量 Ær 加 
v (scalar a r plus 92895875. 


1.1.5 点 积 和 Saxpy 计算 


我 们 用 MATLAB 证言 的 形式 来 描述 算法 ,MATLAB 是 -一 种 


A MATLAB 的 记号 ,宇和 完 拷 们 给 出 一 个 计算 内 和 框 的 算法 ， 
算法 1.1.1( 内 积 ) BR eve “, 此 算法 计算 内 积 “ 一 
uly, 
ec c 0 
for; — lin 
bc = c t rCidver) 
end 
B ^ m] REAR 2 P| s TRAP Al n. RODA ATE RO (n 3B 
EY, BN T fE BEATE A EE E PAM. saxpy UB EE Onus SE, IE RU 
lu] (E: — TP Sr REIS de v ER. 
算法 1.1.2(saxpy) Bove "Fal ,此 算法 用 ar 
ty HX X y. 
for: — I: # 
whi) = arli) 1 vC) 
end 
> 200 SR VÀ B As js Pri UB FI AER WE ETE LIB IS RE SE TI 
不 是 成 品 软 件 . 
1.1.6 上 矩阵- 向量 乘法 和 Gaxpy 
REAC rE "Aye ”, 我 们 需要 计算 
y = Ar boy. 
这 是 广义 的 saxpy, FR ZZ gaxpy. 此 计算 的 常规 方式 是 每 次 修 证 


一 个 分 量 , 亏 


F— mn. par r =s A 一 一 一 - 一 


y» = 2J az, + yo ; =]: m. 
y= 
这 就 是 如 下 的 算法 ; 
算法 1.1.3(Gaxpy: 行 型 ) 3E AC E" "Lx CR" fe CR", 
本 算法 用 Arty 3 y. 
for ;—1: m 
for ;—1:nm 
yli) = Aig da) + yG) 
end 


end 


Ax 可 表示 为 4 的 列 向 量 的 线性 组 台 ,如 


le 1x7+2x8 
3 4 | |= M 
Š x 7 + 6 x 
1 23 
E 


这 一 计算 方式 导致 如 下 算法 : 
算法 1.1.4 (Gaxpy: 列 型 ) RACK", LER" fe, € Bm. 
本 算法 用 Arty RS y. 
for ; =1:n 
for i: =1:m 
yli) = ACi )aG) + yli) 
end 
end 
注意 到 这 两 个 Gaxpy 算法 的 内 层 循 环 都 是 saxpy 运算 . 列 型 
的 算法 是 从 向 量 层次 重新 理解 人 矩阵 与 向 掌 相 乘 所 导出 的 , 它 也 可 
从 行 型 算法 简单 地 交换 求 和 磊 序 而 得 到 ,在 矩阵 计算 中 ,将 求 和 须 
序 的 交换 与 对 应 的 线性 代数 联系 起 来 是 重要 的 . 


EA ET 


1.1.7 矩阵 分 划 成 行 和 列 

算法 1.4.3 和 算法 1.1.4 是 分 别 按 行 和 按 列 用 到 4 的 数据 
为 了 更 清 相 地 说 明 这 一 点 我 们 引进 囊 阵 分 划 的 概 爸 

从 行 来 在 ,个 矩阵 是 由 行 回 量 礁 成 的 : 


r ra 
Y, 
AC wn A= |: . ni^, (1.1.1) 
rl 
这 称 之 为 A 的 行 分 划 . 所 以 , 当 我 们 行 分 划 
[| 2, 


3 4 
15 


时 ,我们 就 把 A 看 成 是 由 行 向 量 
rr=l1 2], ri=[3 4], 和 ri=[5 6] 

组 成 .利用 行 分 划 (1.1.1) ,算法 1.1.3 可 表示 成 

for ¢ = 1: m 

y, = riz + w, 

end 

另 一 方面 ,矩阵 也 是 由 列 问 此 组 成 的 : 
A € 2) 

我 们 把 这 称 为 A 的 列 分 则 .在 二 而 的 3x2 的 例子 中 ,cl M c, 就 
分 别 是 A 的 第 - - 列 和 第 二 列 ; 


1 2 
cy = 4l. Ca = |4 
5] 6- 
利用 (4.1.2) ,我 人 看 到 算法 1.1.4 是 -个 用 到 A 893999 E RS 
saxpy 


end 
在 此 y 可 看 成 重复 saxpy 修正 的 连续 求 和 . 
1.1.8 冒号 记号 
RER- : 行 或 … 列 的 -种 简便 方式 是 "上 骨 导 记 导 .如 果 
ACSP” WW ACK, Bas A HIG fT. BI 
Atk, :) = [ar sain]. 
第 & 列表 示 为 
ie 
AC,R) = | : 
ork 
有 了 这 些 记 号 .我 们 可 将 算法 1.1.3 和 算法 1.1.4 分 别 改 召 成 
for :— 1: m 
yi = AC ir + yli) 


end 
和 和 
for ; —<1: 2” 
y= AL + y 
end 


AAR eid € RTA) ECA 18. 因而 我 们 可 从 疝 量 层次 来 考 
虑 以 及 把 注意 力 集 中 在 大 的 计算 问题 上 ， 


1.1.9 外 积 修正 


作为 冒 导 记 号 的 初步 应 用 ,我 们 用 人 它 来 了 解 外 积 修正 
让 二 六 十 Ty 站 EE TE rN ye ", 
外 积 算 子 cy H TE MW TAR RRA LAR 18 
它 是 完全 合法 ,因为 左边 什 阵 xz 的 列 数 与 右边 矩阵 y 的 行 数 相 
等 .例如 


for ; = lim 


end 
cm 
Xf; 的 循环 是 将 vw RS 4 的 第 i TT E 
for : —1: n 
AG. I) = AG. 1) € ry 
end 
另 - Arlt, MRF po ; B3 HA ER TE E 81S. RUE EE dS + 的 信和 数 加 
SA 8958 ; 90: 
for J = lin 
AC.) = ACL) 9 vir 
end 


iX K Wi SE E Wik ab A) - H saxpy 修正 所 组 成 . 
1.1.10 矩阵 -矩阵 相 乘 


SIR 2x 2 XU LAA AB. A ARIE AE, RET oO AR UJ 

H —uBEIS. 

| iib el [pesas 63 2x8] 

3 4117 8 -dx 了 3+ 64+48- 
在 saxpy 形式 下 FERRE BR A PISA: 

| 2][5 6 1 2 d [2 

Ë Mb IE Bul M. 6, ura 
Ihr. OPF JE X F RRR EIS - -组 外 积 的 


i 9- E apo a 


iX JL AP XB [EE TH RERE A PATE SUE E St A FA AN Të P) A< 
同 , 在 计算 上 的 表现 可 能 是 不 同 的 ,这 一 点 将 在 $1.4 中 进一步 讨 
论 . 现 在 ,我 们 详细 给 出 矩阵 相 乘 的 上 述 三 种 形式 ,这 将 有 助 于 我 
IMRE rie B E EA oJ TR M CR [e] PE (VC FX. E EB. 
+ 


a 


1.1.11. 标量 描述 


为 讨论 集中 ,我 们 考虑 如 下 乍 阵 相 乘 的 修正 公式 : 
C = AB + C, A € LPP p € CE Ae, 
首先 是 熟悉 的 三 层 循 环 算法 : 
算法 1.1 SCRE ie 形式 ) AACE? BE :2 
PCEk”! AEE AB+ C & £ C. 
for : — 1: m 


for ;—1:nm 


for & -1:p 
C(i,j) = ACi, RBR, j) | CO) 
end 


end 
end 
由 于 我 们 把 C( 以 及 ARITE i, COUR B) 的 列 标 为 7， 
求 和 的 下 标记 为 去 ,所 以 这 是 个 Ok 形式 . 
我 们 考虑 修正 公式 C= AB + CTR E: C = AB PIT JE H : 
:是 不 必 去 为 C = 0 的 初始 化 操心 ;二 是 在 实际 中 C=AB+C © 
现 得 更 频繁 . 
矩阵 乘法 中 三 个 求 和 循环 可 任意 排序 ,从 而 … 共 有 31 =6 种 
形式 .所 以 ， 


for : — 1: m 
CG, = AG,ER)B(R,j) + C(i.j) 
end 
end 
end 

是 jki 撒 式 . 3K 6 BRT REPEC gk, jik, ik) jki s hij Ej REE — + 
都 对 应 一 内 层 运 算 ( 点 积 或 saxpy) 而 由 具有 和 白 己 的 数据 流动 模式 . 
例如 ,在 gk 形 式 ,内 层 运 算是 点 积 , 数 据 用 到 的 是 A mp BI 
列 . 而 在 ji 形成 下 内 层 运 算是 saxpy ,数据 是 CHIR A 的 列 . 
xx Jt Vt pf PJ S on S Ej PLI XE EC -起 考虑 是 代表 何 种 运算 部 归纳 
ER 1.1.1 中 .每 种 形式 的 浮 点 运算 次 数 都 - : 样 ,但 对 和, 下,C 数 
Je i fra AE T B. 


X 1.1.1 ERER ER RSE 


— M — 


tn PF WK He "P ffl Hf PY EUR BL Tr ER 
ak ja] ft 3e p FE A Tr. di 
pk 点 积 i piae i Pr | A IMT, B E I 


| 
| 
saxpy | 行 的 gaxpy 


skj B 的 行 , 的 行 
jki saxpy 州 的 gaxpy A FSC 0321 
Bij saxpy 行 的 外 积 BRIG; C BJ4: 
kn 列 前 外 积 A Wy. C B9 51] 


—— Ó— MÀ 


1.1.2 点 积 形式 


通常 的 矩阵 乘法 过 程 把 AB OU HG GER a a, E 
可 按 从 左 到 右 , 从 上 到 下 的 次 序 逐 个 计算 .这 就 是 算法 1.1.5 BrHi 
AKA FAA Si SRT eA ABR: 
算法 1.1.6 CB VESE IE: RRR) 给 出 AE eP, BE 
PMN U CE UU" APE ABT C RAC. 


me ' r muti wa — 


for J = b: 
C, = AG, OBC) + CGU 


end 
end 
ATE Tr XU IS ic 
[aj 
A= | : |, a, € ^? 
Ld 


和 
B= b. b] & Ee ^, 
则 算法 1.1.6 aA 
| for ; = lim 
for ;—1:m 


1 
Cy = a,b, Ic 


1j 
end 
end 
HAR ; 循环 的 “任务 "是 计算 修 起 公式 的 第 i 行 ,为 强 凋 这 -点 ， 
我 们 可 写成 
for ¿= 1: m 
cT = alB + cT 
end 
这 里 
na 
C = | : 
tcl 


是 C 的 行 分 划 . 用 冒号 记号 米 表 六 这 同一 运算 Ef] E 
for 7 了 := 1: 
C(i,:) = AG. O B+C, 2) 


end 


无 沦 从 哪 种 形式 我 们 都 看 到 iue FEN PISOS MI EE Fír 
的 gaxpy 运算 . 
1.1.13 Saxpy 形式 


假定 A AIC i5 5 BA 


A= [asas]. a, C ™, 


Cle. gE ". 
比较 C = AB * € RWB, Su r A 
f 
6) 7 2 bpak + C, "E 
"= 


这 些 向 量 求 和 可 通过 … 系 列 saxpy 运算 集中 起 来 . 
算法 01.1.7 SRE: saxpy 形式 } Sp AC UT, 
BE Pr b| CE "^" REE AB 1 C BAC. 


for 7 = 1 
for & = 1: p 
CC 4) = AC.E)BO 4) ECC 


lix 


> oH 


end 


end 
注意 天 上 循环 实质 上 是 一 gaxpyie FR: 


for ;7}7=1:n 
Cj) = ABC) 4 CC uu) 


end 


1.1.14 外 积 形式 
EERIE LIS 的 ipi J aX: 
for k — I: p 


for , = 1: 


for : = 1: m 
C(i,j) = ACi, E) BOR) | CC, J) 


end 
end 
end 
内 部 的 两 层 循环 是 一 个 外 积 修正 
C=a,bi4+C 
其 中 a, CR”, 6," R. 


" 
A= [ai ap] 和 B = | . 
bp 


因而 ,我 们 得 到 
算法 1.1.8 (JE ERA: 外 积 形 式 ) ”给 出 AERP, 
BER "和 CER"™*", 本 算法 用 AB+C RAC. 
for R=1:p 
C= AC:,R)B(R,t)+C€ 
end 


这 一 实现 方法 是 基于 AB E p 个 外 积 之 和 . 
1.1.15 “级 "的 概念 


RRA saxpy 运算 是 “1 级 "运算 的 例子 .1 级 运算 涉及 到 的 数 
据 和 运算 量 都 是 运算 维 数 的 线性 函数 . m xz 的 外 积 修正 和 gax- 
py 运算 涉及 到 二 次 数据 量 (O(mn)) 和 二 次 运算 量 (O(wn)). 它 
们 是 “2 级 "运算 的 例子 . 

矩阵 修正 公式 C= AB € C 是 “3 级 "运算 .3 级 运算 涉及 到 二 
次 数据 量 和 三 次 计算 量 , 设 4,B RIC 都 是 n x x BEDE, HJ C= AB 
+ 人 需要 O(n*) 内 存 和 O(n?) 运算 量 . 

本 书 的 一 个 反复 出 现 的 主题 是 设计 具有 高 “级 "线性 代数 运算 
的 矩阵 算法 .例如 ,一 个 高 性 能 的 线性 方程 组 的 算法 可 能 需要 把 高 
斯 消去 法 在 3 级 上 来 组 织 .做 到 这 一 点 在 运算 上 要 重新 考虑 ,因为 
方法 通常 是 用 1 级 的 方式 给 出 的 ,例如 :“ 把 第 一 行 乘 以 一 个 党 数 


[ie | 
| 
SSS mansa 


加 到 第 二 行 “ 
1.1.16 RAB 


oy ERE HB EL ER i BF RATS OT RIEN 

方程 
AB = 3» 

其 中 a, MA, 是 (1.1.3) 中 分 划 所 定义 的 . 
在 以 后 的 章节 中 ,天 量 的 矩阵 方程 会 出 现 . 有 时 ,它们 会 像 上 
面 外 积 展开 … 样 是 以 算法 形式 建立 ;有 时 它们 是 在 j WRAP 
次 上 来 证 明 的 .作为 后 者 的 -个 例 节 ,我 们 证 明和 滋 积 转 置 的 性 让 这 
FHAR. 

TH 1.1.1 BRAGS ^f BC E" ",M(AB)T- BTA’. 

证 明 $ C-(AC BOT, NI 


cy = [CABTL, = [AB]; = Paga. 
另 - Hm, D= BA, 
d, = [B'A™], = D [B alATl, = Y braj. 
由 于 对 所 有 i905 ABA c, dy EIC = D. [] 
像 上 面 这 样 的 基于 标量 的 证 明 常 常 没有 启发 性 ,但 有 时 却 是 
惟一 的 方式 . 
1.1.17 SER 


4 8 TER PE SE WHA, mx n F ME Ek R [61 RE [a] i 
Ace Sr Sp PER ERE LAE Jl , AH 3k e E R B eH X ERIS. fF 
i HEELERS ERB: 

C = A" =c, = ay. 
n 维 复 向 量 的 向 量 空间 沁 为 .3.x 维 向 量 x My 的 点 积 是 


ri 
`Y 一 
s=atty = > X. 
i=1 


Ee er a 


BARE A= BCE 2 WRT ABER DITO 
A Ee A) =B MIm(AD=C. 


>J 题 


1.1.1 假定 AC HE. Vilbb- Tib MCA arD n (A - 
rc,EY8 -- 808 saxpy 算法 

1.1.2 ABM 2 JE 2 A CH= AB IB RHET: 

aub db dd ap yo 1282, d 2822.4 193) data. 

对 jk pik kig, thy jki Be byt AFP 3b uk Jo =N UU 3e Pg il X pt E 225 RD EE. 

1.1.3. 给 出 一 个 计算 C = (Gov D 的 算法 .其 中 Aly h n 28858. 

1.1.4. fdii£-- TORUXY P 的 算法 ,其 中 对 ,YE "y. 

1.1.5 给 出 一 个 外 标 形 式 的 算法 修正 C= AB! + CAPAC ZIP ”下 
€ CE mn 

1.1.6 BEC. DEF BA EB] n X n SEXE. EUH LU TE RE — IK 
实 的 nox n SEPM ATRL A MB, MERC A A iB) - CC L iD (E + iF). HE 
quib ow-(C+ DCE -— F). 
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$1.2 利用 结构 


一 个 给 定 簿 阵 算 法 的 效率 是 和 诗 多 东西 相关 的 .最 明显 的 ,也 
有 是- 本章 我 们 要 考虑 的 是 运算 晤 和 存储 量 . RMA RRS 
利 矩 阵 与 矩阵 相 乘 为 工具 来 导 人 主要 的 思想 .作为 利 讨 结构 的 例 
子 ,我 们 挑选 了 带 状 各 对称 性 . UP ARABES VT E ETE LL IBI TES 
MTR PAIS CRSA 6 fi bt MARAE. Pe 
Tb as B ET ia BO RA 

对 称 矩 阵 提供 了 利用 结构 的 另 一 类 例子 . 对称 线 性 方程 组 以 
及 对 称 特征 值 问题 在 矩阵 计算 中 起 显著 作用 ,所 以 熟悉 它们 的 技 
巧 是 重要 的 . 


1.2.1 带 状 矩阵 和 x-0 记 号 


如 果 ay =0 对 任何 2j * por felisi ACH "具有 
下 带宽 pp; 如 果 a; =0 AHE j >i tg 成 立 , 则 称 A 具有 二 带宽 
a. 下 面 是 一 个 其 有 下 带宽 1 AER 2 8 <5 H: FF: 
017-7 


ec 7373 = = x x 
oc GS X X Xx 
D 2 2 x x< Xx OX 

co — x X x xc 
> x x x x eco 


0 0 Ü 
“x "表示 任意 非 零 元 素 . 这 个 记号 可 很 方便 表示 短 阵 的 非 零 结构 ， 
我 们 会 大 量 的 用 到 .常见 的 带 状 年 阵 在 表 1.2.1 中 列 出 . 


X1.2.1 m* n XBEETEAB EE IS 


1.2.2. 对 角 阵 


上 下 带宽 都 为 零 的 矩阵 是 对 角 阵 . 设 DER™*" 是 对 角 阵 , 则 
D = diag(d,,°-,d,), q = minfm,nted; = d. 
设 DD 是 对 角 阵 , A BRR DA 是 A 的 行 加 权 , AD BA 
的 列 加 权 ， 
. 18 = 


rp eT h Ey UU u 


1.2.3 三 角 阵 


为 引进 带 状 矩阵 "思维 ”我 们 考虑 矩阵 相 乘 问题 C = AB ,其 
HA HB 都 是 x Xn 上 三 角 阵 .3x3 的 情形 可 表示 为 
ayn anb t agb» auba aba + ab 
C= 0 anba azb + 423633 
Ü 0 433633 
A LaF, Fe E: F — 8 , AEE ACR Ae faj IE í BS IN 
A. RRE, aE £ <; sk; < k MH a,b, =0, 我 们 可 看 到 


n = Yos 


aor 

于 是 我 们 得 到 

算法 1.2.1( 二 角 阵 乘法 ) SHA BELO LEAR AR 
法 计算 C= AB 

C=0 

for í = Lin 

for j= iin 
for &=i:j 
C(i,j) = ACGE)B(R,j) + CCi,j) 


end 
end 
end 
为 说 明 这 个 算法 的 节省 性 ,我 们 需要 一 些 度量 计算 量 的 工具 . 
1.2.4 Flops 


4 EA. L — fB W 38 eE LAE Se IT SE. 
说 明 这 一 点 的 方式 之 一 是 通过 flop 记号 .一 个 flop 就 是 一 个 浮 点 
运算 ,长 度 为 的 内 积 或 saxpy m 3€ 2n 个 flop, 因 为 它们 都 需要 
n 次 乘法 和 nn 次 加 法 . 

at FT AC Am" gaxpy 运算 y — Act y ASABE A = A + 

，19 - 


CO Bierre rr ea 


zy 都 需要 2mn 个 flop. 
TACK, BE MCE.” SBPEXEHEMEIE C = 
AB + C HB 2mnp 个 flop. | 
flop 数 通常 可 通过 将 算法 最 内 层 循 环 的 运算 数 相 加 而 得 到 ， 
举 和 矩阵 乘法 为 例 , 最 内 层 语 句 是 
C249) = AGROB, j + COG, j), 
EA 2 个 flop. i iE (8i E& IO 48 EP E CR Ub BMA map 次 ,所 
LA — REB BE THE e SE 2 mnp 个 flop. 
现在 ,我 们 研究 算法 1.2.1 的 运算 量 ,注意 到 c, (ERE 
2t7 一 2 十 了 个 flop. 利 朋 直 观 公式 
ygg+1) s 
— 2 2 


pl 


和 
E T zac tox xm. 

RIVE A AE OSBEROE US op USA 

YVG -i+ 1)= X azja J iH 

= EEES 

我 们 舍 去 了 低 阶 项 ,因为 它们 对 flop 数 影响 甚 微 . 例如 ,通过 精确 
的 浮 点 运算 数 统计 可 发 现 算法 1.2.1 82 +n? A fop M n 
很 大 时 (这 是 通常 感 兴趣 的 情形 ), 我们 看 到 ,精确 的 flop 数 与 地 
近似 估计 相 比 多 出 的 两 项 没有 实质 的 意义 

用 flop 数 来 衡量 程序 的 效率 必然 是 粗糙 的 ,因为 它 忽略 了 下 
标 ,内 存 通信 ,也 没 考虑 其 它 执行 程序 的 负荷 . 我 们 不 能 过 分 依赖 
于 flop 数 的 比较 .例如 ,我 们 不 能 断定 三 角 矩 阵 相 乘 要 比方 矩阵 相 
乘 快 6 傍 .fiop 数 只 是 一 个 “ 快 而 不 正当 ”的 评价 方法 , 它 仪 注意 到 
影响 效率 的 多 个 因素 之 一 ， 

70 - 


1.2.5 BEEBE =i = 


如 果 我 们 把 1.1.8 Ol A WJ imer ,如 算法 1.2.1 中 
k ERAS ELI oig SE. flue AG" ER p.a Mir Al 
Ppxzqzin Al 187 r= m. jk ux 
ACr, pi a) = [as sun] € Pete pale 
回 样 地 ,如 昌 Spsg Ml d Leu 
p | 
A(p:q.c) |: fe "P 
à, 
Al Hiix Pid to, FA 1.2.1 n] tK 
Clin lini Ü 
for i= lig 
for ;— ::nm 
Cig) A J)BG : 7.7) + CG.j) 
end 
end 
RAMA Sid si TIER SER RTF F tp A 38 K. PH 
以 ,如 果 .r Aly fen Sele es — n vn e ORAR A 


n 
~ 
8 — > a ithe 


“一 了 


1.2.6 市 状 和 矩阵 存 情 


假定 AC “下 有 下 带宽 请 和 上 带宽 4 Hp Ale sb v Ta. 
ix FEBR Ee RT dE P gu ASAT E pgti) X » 数组 A. band. Bj 
XT r Far BE AAC): 
d, = A. band(; — 7 + q + 1.j). (1.2.1) 
所 以 ,如果 


则 


djl 422 433 Gag äss gg l 
21 432 Qa as ags 0 

iX Hi , “0” 元素 是 用 不 着 的 . 利用 这 种 数据 结构 .我们 基于 列 的 
gaxpy 可 能 化 成 如 下 形式 : 

算法 1.2.2( 带 矩阵 Gaxpy) RACK" 具有 下 带宽 户 和 上 
带宽 q HHA A band(1.2.1 $),4wX r, yel, DARA 
Arty Ry. 
for ;—1:m 

Yep = max(1, j 一 g) 

Ybor = min(n,; + p) 

Qin = max(1,g *t2-j) 

Gbo = top 十 Ybor T Vio 

y(ys : Ybor) = z(j)A.band(a,, : au j) + y yup : Yi 

end 

注意 到 把 A 按 列 储存 于 A.band, 我 们 得 到 -一个 基于 列 的 saxpy 程 
序 .事实 上 ,算法 1.2.2 是 从 算法 1.1.4 中 把 每 个 saxpy 涉及 到 的 
同 董 换 成 非 零 的 短 向 便 而 得 到 的 .整数 计算 是 用 于 确定 非 零 元 素 
的 位 置 . 由 于 细 散 地 进行 了 零 元 素 及 非 零 元 素 分 析 , 此 算法 在 p 
和 g 这 小 于 x HBE FAA 2n(p + q +1) flop. 


Cells ee ee | 


1.2.7. 对 称 性 


如 果 A-A RA AE O” RARI. PrE, 
j 2 3] 


A= 2 4 5| 
5 5 6l 


是 对 称 的 . 如 果 我 们 仅 储存 下 三 角 的 元 素 , 则 存储 量 可 减少 一 半 ， 
BM A. vec=[1,2,3.4.5,61. YE. - 般 情况 ,根据 此 约定 ,我 们 把 au d 
如 下 方式 储存 
as = A.vec(Cj — 1)” —34(9 — 1)⁄2 + i) QI). 
(1.2.2) 
让 我 们 看 矩阵 A 储存 在 A. vec 的 基于 列 的 gaxpy 和 运算. 
算法 1.2.3( 对 称 储存 Gaxpy) 3E AC CI SR MAT A. 
vec( (1.2.2) , y y €? ARR Arty S Š y 
for ; —1:m 
for 2 =1:3-1 
yli) = A.vec((i — Dn — ili- D72 pda) + yli) 


for i= jin 
yli) = A.vec((j — Dn — 9G -1)24+ ijs) + yli) 


end 
此 算法 与 常规 的 gaxpy - - 样 需要 2n? 个 Hop. 值得 注意 的 是 减少 
一 半 存 情 换 来 了 很 别扭 的 下 标 . 


1.2.8 按 对 角 储 存 
XEÉRAE PE AE, B] 4&9] 8 PATT. A 


y 
12 3| 
3 5 6 


-一 -- -一 —- ---— --- --—-- - rane d ae -- -= 一 —- - ， " "ú" i dM um s — o AD 


按 对 角 储 存 则 把 A Tr pn B 
A.diag = (1 4 6 2 5 32, 

在 -一般 情形 ,对 pe v8 

d,+e,,-A.diaglitnk—-klk-1)/2) (E280), (1.2.3) 
Wala ART Ro 如 何 运用 这 - -数据 结构 的 讨论 简单 化 ,我 们 

BLAST i 

RAC "DA, RG "CRRA MAS e 条 对 角 线 : 

_ Jays J—r:rt&Alimm.bmL zn, 


[D(A,£)]; lo. AMI 

0223] Jo 0 3) [0 2 0j 

A= i2 4 i lo 0 "° 0 0 si 

3 5 6 Ww 0 di i? Q ol 

Ops (0 ^ axía) 

100 [00 0] 000 
paopao oso ol 

t0 0 6! w5 o) 3 0 ol 

TN DUM - 02 THA - | 


J] 3 FG AT Bae oh 8 Ba tr DR ERST RGB DD(4,0),D{A,1)， 
PD(A,n — 1) YEE Bor BERK EF A. diag 里 (1.2.3). JP EL 
gaxpy 运算 y= Ax y HAA FË 


-y = D(A,0) + S Da. k) + DICA, k) z+ y. 


将 上 述 会 式 的 细节 整理 BS A F 9. 
SE 1.2.4 8E PR ETE) Gaxpy) B ACA 对称 ,储存 

T A.diag( J,(1.2.3) e: y € di^ ,本 算法 用 Ar+y# Š y 

for : — 1: 

yli) = Adet rG) + y(i) 
end 
for # —1]:n-1 
= nb — klk —- 1) 2 
224 


iy DLA, kja Fa 
for ; -1:n-—& 
yi) = A.diag( 1 t) + k) + yli) 
end 
iv — DCA Ar + xi 
for ;—1:n-£ 
y(i + b) = A.diag(z Krii) 1 vit £j 
end 
end 
HE TE A IZ e ER AED St AH 3 : 
v(l:n ok) 2A.diag(4 t 1: (£u - Ë) 
O*or(R t bond vil:in $) 
yk + |: n) —-A.diag(t 4 1l: f£ 4 4 — Ë ) 
Larla c ko wk | 1: n). 


1.2.9 覆盖 和 工作 空间 


LÈT E REP ER fr 09 ESSE BHL. S S ERE A Pe | k: [8 
JH EREBP AE Jrik. IE on x s WAHRE C = AB , R 
^E AER" B J$ y ii E E C PrE m, F {iA BE a) BB. Hit 
C(l:n,l:z)=0 
for 7 = bi» 
for £ —1:n 
CC) = C(:. D + ACSR)BCGR 3) 
end 
end 
改 成 
for ;—1:» 
for & — lin 
BC.) BOSD + AC E) BCR j) 
end 
` 25 * 


-- 一 - — -—=r + is. "uama 3 7a 9 con aaue 7o bagen Ao - ` -o- — ava A nn i — _ 


end 
这 是 因为 BC ,四 在 整个 中 循环 中 都 要 用 到 .需要 -… 个 线性 的 “ 工 
作 空 间 " 来 暂 存 乘积 的 第 ) P ECSU RT EAE RT ee B(:.;): 
for y;olin 
zl:mn)-0 
for & —1:nm 
w(:) = w(G) + A(: ,RIB(E,I) 
end 
B(:.j) = wl:) 
end 
一 个 线性 工作 空间 负担 在 同 阶 的 2 维 数据 的 矩阵 计算 常常 是 无 足 
轻重 的 ， 


可 E 


1.2.1 给 出 一 个 将 A^ Box A 的 算法 ,其 中 由 息 : 各 <" 是 (a) 上 上 三角 阵 ; 
以 及 (6) 方 阵 .在 两 种 情形 下 都 尽 可 能 少 地 用 工作 空间 . 

1.2.2 假定 A C^ ^" Hessenberg BEI A... A. 是 给 定 的 标量 . 
请 给 出 计算 M — (CA ALI (A  AJDT8 — 9189 saxpy 算法 . 

1.2.3 #ñiH- $l saxpy 算法 计算 0n X n JBEESERIC = AB. PAB 
上 三 角 ,B 是 下 三 角 ， 

1.2.4 把 算法 1.2.2 推广 到 长 方形 的 带 状 矩阵 .注意 对 数据 锋 构 的 描 
述 . 

1.2.5 如 果 AM=A4 UR ACC" E Hemite HF. it A = B + iC, WA 
B'-B,C'- - C. {RE RANA A. hermCi j ATE b, CGN i25) C, (如 果 
j> MED GRE A 表示 在 数组 A. bem rh. 利用 这 一 数据 结构 写 出 矩阵 乘 向 
量 的 算法 从 Re( x) Imi zy 计算 Ref xz 和 Im( z 88 E z= Az. 

1.2.6 UE XC" ^,AC€ "7", A XEER EE XI A ARE. BHT 
Y -X' AX 3:38 45 84132 3 AE BECA TRO A A MY. 

1.2.7 i aC MSE RACH "Ba, = ali - ,+11 给 出 一 个 算法 用 
Arty W t y, AP r, yE R EARE. 

1.2.8 Ba Cine ACR ay Sagen Rt 


Tina — w =—  — — ee r — rr x 


算法 用 Arty By RP r, yE "是 任 给 向 量 . 
12.9 发 展 一 个 紧凑 的 将 非 对 称 草 状 定 阵 按 对 攻 储 存 方法 . 且 给 出 所 
对 应 的 gaxpy 算法 . 
1.2.16 Wp Ag En HERA = (a, Ha, =e, = pa (Ter n) 
Bre HAE CH LTH y= Ac BE YS flop? 


BER SS SMR 


3: TF MLR EA R A RE Bae A BUE tee STR IRI LAPACK 手册 .也 可 参考 ;: 
N. Modsen, G. Roderigue, and J. Karush (1976). "Matrix multipheation by Diagonals on a 
Vector Parallel Processor, “Information Processing Letters 5,41—45. 


$1.3 HERRE 


AAs Ri Sik -工具 在 撼 阵 计算 中 是 很 重要 的 ,因为 
它 可 简化 许多 核心 算法 的 导出 .而 且 ， 分 块 算法 在 高 性 能 计算 中 
铺 来 人 请 重 要 . 分 块 算法 实质 上 是 指 大 量 用 到 年 阵 乘 矩阵 的 算法 .在 
许多 计算 环境 下 ,这 类 算法 比 基 于 低层 线性 代数 的 算法 要 有 效 的 
多 . 


1.3.1 Rees 


414r X A Sp Xi] 3 St R AI RR TTE . TE RT, FR ATT 
n X n ERFA 的 行 和 列 进 行 分 划 ,得 到 
An mi 
A= : : 


Ag 

n, n. 
其 中 my tert my ny toot n =n UR Aq (a, BREE, 
A BAL AB EE AHE iS RE AL EE m, X ng 敌阵 .我 们 称 A 


= (Age) Æ — qx r SRE. 
1.3.2 ARER 


JA FR e HE Sir OR AE AR DO VS , OP Ht AE EH SB pR pÀ Ti R 48 Pn Be 
. 27. 


FH g 


` ki TEO a wwrrC s u rr x m 


asam, ——ÜÑ — = a — pip ÓÀ . -- -—-- 


TL ak Bu 8 B EP TE E. Un. 
Bu oc Bis] py 


B = | 
Ba cc By Pu 


qe. 
Hi Mp 
FTA B RMR LE A MRH” MERE C = A Bu 


可 看 成 是 dg Xr SPIRE: 


[Cu UC, Aug + By cy "in 


C = : : |= : : . 
lc, Uo C, (Ant Bua c Ay + B, 
A RB FPE DEE ORCI. R. dX LIES HB EHI 3| PE. 
5]18 1.3.1 GAG "P, BE v", 


A; PE 
A=]: B = [B,,---,B,] 


LA; Hg ay n, 
则 
Cu | 
AB = C = |: 
C C J P 
H| n, 


其 中 Ca = A,Bs(a — lig, 8— Vir). 
证 明 首先 我 们 比较 Cs 中 的 元 素 与 C PEADAR. WIS 
at q. I9 ]slr.bDmlimDm, MSGS n 我 们 有 
[Cl], = Chet riy， 


其 中 
A = mi t'e + Mal: 
# = nhi ts c Hyg |. 
但 是 
P 
x ` . 
Cati, ut; 一 251 P) = > LA lal Bola = [ABal;. 
k-i k-1 


(028 c5 


Miel ER c ERR SS SF "ERI rurar rr rr cs sk span 
a od 


HOM, Cy ABs - 
5|18 1.3.2 ik AC "=P BE PAH 


AB Cs NAH, 


证 明 RIO. HDR RE < BEER EX A J; hu L EU 
1.3.60. x] xz £m 人 


; | Pat 
. = N 一 NI 
Cu oy itty, = 2a abhi T — u ab 
k ] & l rat) 


一 [A Bi "J + Aa Bany = LAB] + ABa ],,- 
MA, C = A Il, | A ha. 
对 本 ARR Be A IE JV TT TY AT PER: 
定理 1.3.3 wR 


[A 0n ^| "a 
A=: 
| Aui re As PM, 
f P. | 
[a o0 By, | Py 
B = ' : 2 
aoc HQ! p 
Ny H, 
而 且 我 们 把 C — AB 按 如 下 方式 分 块 : 
Cu .. Ca HE] 
C i : 
Cao Cu] m, 
"I p 


jj 
“ 29 - 


Co = DAcBe, adig. Bir. 
r-i] 


证 明 见习 题 1.3.7. 
WRG g=2,5=2,r=1 和 |=1, 则 得 到 一 个 很 重要 的 特殊 
情形 ，; 


[n NAME [^ni + Ar? 
Ax, ^ Ania. 
ix 2 ER 1 PIE 3E [n] EO el. 


1.3.3 FERE 


如 同 EPE 矩阵 一 样 ,分 正和 矩阵 乘法 能 用 不 同方 式 来 组 织 . 我 
们 需要 引进 一 些 记 号 来 准确 地 刻画 这 些 计算 ， 

HACH” B i-(havsvuh Hm Gru EROR 
满足 


Asx) + Aga 


try et, € 11,2,-",mi 

Fist sty € [1,2,-"*, nl. 
我 们 用 AG, DRR rx c TERME 
AG ° AG) 
Ali, j) = : : 


ACQUA) cn AGI: 

如 果 下 标 向 量 i 和 j 中 的 元 素 是 依 序 的 , 刚 可 把 A 中 的 标量 
元 素 用 “冒号 "记号 来 定义 A(;. J). BRE 1i =i, m 和 
1 =S n MACE: iz, Ji 72) Ed A i 行 到 第 i, 行 和 第 Jl 


列 到 第 jo 列 取出 来 ,例如 
a3 832 
AG:5,1:2) = lan ag. 
as asal 


AFFIRM ,从 1.1.8 节 知 当 7 fJ 是 标量 时 ,A(i,:) 表 示 有 的 
第 i 行 ,A{: RAR A 的 第 j 列 . 


——raa 
ee 
Tra 


1.3.4 分 块 矩阵 乘 向 量 


定理 1.3.3 包 括 了 一 个 重要 揭 情 形 贺 是 分 所 和 卸 阵 乘 以 网 量 . 
我 们 考虑 gaxpy IB y = Ar + 的 详细 过 程 , 共 中 AC "^"^", 
TE ",y€ "HR 


EAT C ng 
我 们 称 A, Aes i PIL FT. Ër m. vec = nip. nig de Medium m 
REC Bp ia, UJ M. 


E (A, ivy | 
it fa x : | fois: | ， 
L¥y A LV 
我 们 得 到 
last = Ü 
for; = I: q 


first = last + 1 
last = first + m. vecC i) -- 1 
y{fist;lasti = ACfirst : last, :)o + vCfirst : fasr) 
end 
BEER TAH TREE US DUCIT Ab 一 个 "普通 MI eaxpy, fI FH SEES 1. 1.3 
或 者 算法 1.1.4 H. 
男 一 种 将 garm 计算 分 块 的 方式 是 将 A 和 > 以 如 下 方式 分 
划 : 
cy H| 
A=[A, + A,], r= `: 
E ", DER] My: 
这 时 ,我 们 称 A, A 的 第 j 个 块 列 . 设 .vec= (nuin n, ER 
列 之 宽度 的 向 量 , 则 从 
" 31 ` 


A eee o r a - - 


y = [Ayo A, 1] : 
Lz, | 
得 到 
last = 0 
for; —1:-x 


first = last + | 
last = first + n. vec(j) — 1 
y = AC first : Clast) x Cfirst : last) + y 
end 
PIPER, EIN IREKI IE gaxpy 可 利用 算法 1.1.3 或 者 算法 
1.1.4, 


1.3.5 分 块 矩阵 乘法 


THEBIS DA ip B Woe SE AS RE SR BE … 样 ,分 块 定 阵 乘法 也 可 
与 成 不 同形 式 . A,B MC IIIA HARU AX ALAS 81.1 中 的 内 
积 ,saxpy 以 及 外 积 型 算法 之 分 块 形式 提供 条 件 ,为 了 只 用 尽 可 能 
少 的 下 标 来 说 明 这 一 点 ,我 们 假定 这 二 个 千 阵 都 是 nx EPER 
a= NI, N Al? SERIE SEA. 

PLA —(As),B= (Ba) C= (Cy) BE LX I RBN x N 
分 快 矩 阵 ,从 定理 1.3.3 TFH 


N 
Cap = 2; A.D + Cag. a =]: N, B —]1:N. 


如 果 我 们 按 这 一 求 和 公式 组 织 矩 陈 乘 法 则 得 到 算法 1 1 5 的 分 岂 
形式 


for < —1:N 
P— (e — 40) +1: al 
fo 9-1:N | 
j= (8-1) 41: g 
for r—1:N 


+ 32 


b = (r — l + 1 : rf 
CG,j) = AG, RB, j) t Cli,y) 
end 
end 
end 
注意 到 在 了 =1 时 有 e=; pj Mr=s 则 同 到 算法 1.1.5. 
要 得 到 一 个 分 块 的 saxpy 矩阵 乘法 ,我 们 把 C= AB + C 5338 
[Cis Cx] = 141 AN|， 
[By oo Bry | 
PLC Cn), 


Bw cU Baw 
其 中 A, CE Bae “从 而 可 得 到 
for Polen 
j= (8-1 rl: f 
for = = 1: N 
7 = (a — l) + 1 : ol 
CO.) = AG BG) + CC) 
end 
end 
此 算法 是 算法 1.1.7 的 分 块 形式 . 
分 块 的 外 积 乘 法 可 出 下 面 分 划 来 导出 : 
or 
A= [Ay An 1, B= : ' 
| BT 
其 中 AB,C: "7. M5] 8 1.3.2 A 


N 
C= S ADI * C, 

r= 
iig 


. 33 ` 


—— —sshrrr F usistraiurn rg r— 


& = (= — 1) r 1: r 
C= ACIB, :2 + C 
end 


这 就 是 算法 1.1.8 的 分 块 形式 . 
13.6 SERRE 


ARERR: 
(Ci +iC2) = (Ay + 142) (By, + iB.) + (C, + iC;), 
其 中 所 有 的 矩阵 都 是 实 的 ,= — 1. EERE AR AA 
C, = AB,- A-B, +C], 
C» = A,B; + A-B, + C, 
也 可 表示 成 矩阵 形式 
C; A, ~A] B, C, 
el^ M A; yt Le] 
XX He AB BY ULIH CAR RE 3k ph A S SE e fa] RC. 惟 …… 不 足 的 是 在 矩 
阵 


Pig SORE A, 和 A TERR, 
1.3.7 “分 而 治之 " 炬 阵 乘 法 
我 们 以 讨论 矩阵 乘法 完全 不 同 的 方式 来 结束 本 节 . 首先 讨论 


2X2 ER FREY 3E: 
Pi | = [^n A Jf Ëu ne 
C» Cy Aa AzilBa Byd’ 


其 中 每 块 都 是 方 阵 .在 普通 算法 中 ,Cy = A By, + 4j2B2) .一 共有 
8 PFE 4 个 加 法 . Strassen( 1969) TE AA f. HJ 7 次 乘法 各 18 次 加 
减法 可 计算 C. 

P, = (Ay + Ag XBi + B>), 


| 
mur d 


Py = (An + Ay)Bu, 

P, = Ay (By - Bx), 

Pa = Anl Ba ~ By), 

Ps = (An + Ay) Ba, 

Pe = (An — AID(BL + Biz), 

P: = (Ar — Ay) (Bx, + Boz), 

Cy = Pi + Pa- Ps + F}, 

Cy = Ps + Ps, 

Ca = P> + Pa, 

Ca = Pi + Ps— P. + Ps, 
直接 替换 即 可 让 明 这 些 公式 .假定 n = 2m, 则 每 块 都 是 m x m. 
计算 标准 的 矩阵 乘法 的 加 法 和 乘法 次 数 可 得 到 (2m》》 议 乘 法 和 
(25 )? - (2m)? RME. MRi Strassen 方法 在 分 块 阵 乘法 中 
用 普通 方法 则 需要 7m? KREM Tm? t 11m RIE. 如果 m 
31 , Jllj Stassen 方法 所 需 运 算 量 是 传统 方法 的 7/8. 

可 以 看 出 ,Strassen 思想 能 递归 应 用 .特别 地 ,我 们 可 在 求 每 
个 P; 的 一 半 维 数 的 块 短 阵 冬 法 中 用 Strassen 算法 .所 以 , 当 太 和 
B 都 是 mn Xn 矩阵 且 %x =2q 时 ,我 们 可 重复 应 用 Strassen 算法 .在 
最 底层 , 块 的 大 小 是 1x1. 当 然 , 也 没 必要 AAEE] n = 1. 当 块 
的 维 数 足 够 小 时 (= 生 mmn) ,计算 P; 就 可 用 常规 的 矩阵 乘法 .下 面 
是 一 个 完整 的 算法 : 
算法 1. 3. 1(Strassen HU) Hon = 27, A ©" fa 
BC "n" .如果 n, = 22 (dzg),W AR E 3E BM Strassen 技 
m g-—d 次 计算 C= AB. 
function C = strass( A, Bon, nau) 
if x ny 
C = AB 
else 
m = n/2su—]: miu = mctl:m 
035 ， 


D, = stras(ACa,a)} + Alvu) Bilun) + Bluse), aren.) 
P, = strasst Afu, u) + ACo v), Blusu em, Aa) 

P; = stran ACu  u).BÜu,u) — Bu, uh PH, Romn) 

P, = strasst ACo v). BCGu,u) — BGu um nua) 

Ps > strass Afu wd + AQu o) Boss m nau) 

Ps > swas(CACv nu) Alua) Blew) 9 B(u,o), m, nV) 

Ps = stass(ACu.v) Aloe), Biru) t Ble v) mano) 

Clu,u) = Pi + P, — Ps + P 

Clu,uv) = P, + Ps 

C(v,u) = P + Py 

C(v,v) = Py 1 P, — Ps + P, 
eri 

FRAT RT Br $t 8 BJ FERES [i] , strass" SOS, Eee FPE: 
PARAH “Sp na AE e uj RGA I BJ K PAT 
把 这 个 算法 写成 MATLAB e $ m A SL HET D spa yh sy s 
strass 算法 的 运算 量 足 关于 n Bln, a SE Ze eR CL 由 于 加 减法 

BO EXC I EE Beg RIRA FARR. m E TEE due 1E 
次 数 只 需 分 析 递 归 的 最 深层 , 8 AD EIA 8 REREH. 
strass YER WH g — d UR EE 77 < 个 常规 的 矩阵 乘法 .而 这 
些 滋 法 中 和 矩阵 的 维 数 是 nan. Ek Pt a RERA O s= (243 07-4, 
而 常规 的 柴 阵 乘法 中 乘法 运算 次 数 为 = (02) mim 


s 20 a4 [2 
i-(z]7 “= (| | 
MA d — 0, n BUE (f BURP] 1 >x 1 ey 
s= s)« = 7? = ne? me H^ 807 

所 以 EAEE E, stase SIERRA E O Cn? 7") fH, 
ME min 很 小 时 LANI EE: AY DC to 3E TE OBL ERIR, 

Pl1.3.1 to n = 1024 fe vn, = 64 则 strasse 算法 需要 常 
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BLA EW (7/8) 6220.6 KARE. 
=] 题 
1.3.1 推 太 1 3.3) 司 其 能 处 理 分 划 是 定理 1.3.3 所 给 出 的 情形 . 
1.3.2. HEP (1.3.4) 8101.3. 5) E 2 GEARRA [3 BJ E RI y e 
1.3.3. 和 修改 strass fit Zr ul jor FH EF fup 6 f 89 A p E 3e E, dom um E. “ 5 
的 "的 4 是 奇数 维 , 则 各 一 个 赫 行 和 零 列 ， 


1.3.4 WẸ 
EIDEM 


A= | : : 
A cU Ay 


[An "" Ags 
Abii? : 


E À BOSD DR EBA 


1 ... A! 
ri gr 
1.3.58 iX » BAR EAM ?到 -的 函数 
PEF. 
Fle) = all: 2: m) c(2:2: n) = X zaira. 


(a) 证 明 对 性 人 条 ».y€ “有 
n 2 
gly = 2G 1| yarn + 2-7) — fle) - fy). 


(b E IE. n X n SBEETH3E C — AB ,给 出 一 个 通过 将 了 应 用 到 生 RTL 
召 的 列 的 计算 乘积 C= AH HEE n 72 ORE HIS DUE RE HEART ICT DL Wino- 
grad( 1968). 
1.3.6 对 一 般 * 证 明 训 理 1.3.2. 提示: 令 o = D, 
e —pytt d Be r=]: s +I 
和 证 明 


i feq 


V M 
e = 2; 2 abi 


r-I feet] 


1.3.7 利用 引 理 1.3.2 和 1.3.2 证 明定 理 1.3.3. 特 别 地 , 取 


Ai, 
A, = : , H, = [B,, UT Be] 
qr 


A 
. 37 。 


—— u rr u— —— rn rr T 


和 从 引 理 1.3.2 A 
c= SAR. 
惜 助 于 引 理 1.3.1 分 析 每 一 个 ALB, 


BERS Ss NM 


很 长 时 间 以 来 , 算 阵 乘法 的 快速 算法 在 计算 机 科学 中 受到 高 诬 重 视 . 请 参阅 
S. Winograd (1968). "A New Algorithm for Inner Product," IEEE Trans. Comp. C17, 
693—694. 
V. Strassen( 1969). “Gaussian Elimination is Not Optimal,” Numer. Math. 13 ,354--356. 
V. Pani 1984). "How Can We Speed Up Matrix Multipticanon’? , "SIAM Review 26 ,393— 
416. 
Vr de yp 28 AE BS SC Ee ri JE ANE HE 
D. Bailey( 1988). "Extra High Speed Matrix Multiplication on the Cray- 2, °° SIAM J. Sei. 
and Stat. Comp. 9 ,603—607. 
— XX Wa ,很 明显 地 知 遂 全 瞩 理 定 这 类 快速 产 法 是 不 明知 的 ,Srass 算 法 的 " 稿 定 
性 "和 将 在 入 2.4.10 中 讨论 . 进 -- 步 参阅 文献 可 见 : 
. N. I. Higham 1990). “Exploiting Fast Matrix Multipheation within the Level 3 BLAS,” 
ACM Trans. Math. Saft. 16 ,352—368. 
C.C. Douglas, M. Heroux, G. Shshman, and R. M Srmth( 1994). “GEMMW:: A Portable 
Level 3 BLAS Winograd Variant of Strassen’s Matrix-Matrix Multiply Algorithm, "J. 
Com put. Phys. 110 ,1—10. 


$1.4 向 量化 与 数据 重复 使 用 


本 书 计 论 的 矩阵 飞 法 大 多 是 基于 点 积 和 和 saxpy. 问 量 计算 机 能 
很 快 执行 这 类 型 的 运算 ,因为 它 的 硬件 是 充分 利用 癌 量 运算 是 一 
连 串 的 标量 运算 这 一 特点 .这 样 的 计算 机 效率 是 理 高 取决 于 阿 量 
的 长 度 以 及 其 他 - - 些 关 于 数据 移动 的 因 束 ,如 向 量 流 , 呵 量 存储 的 
次 数 , 以 及 数据 重新 利用 的 程度 等 .我 们 的 目的 是 熟悉 这 些 因素 . 
我 们 并 不 试图 设计 可 用 来 预 估 表现 的 完整 的 回 量 计算 模型 . 我们 
只 需要 指出 哪些 是 在 设计 有 效 的 向 量 计算 程序 所 用 的 思 跨 .我 们 
不 考虑 任何 特定 的 计算 机 , 关于 其 体 机 型 的 讨论 有 大 量 的 参考 文 
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WK US BH. 
1.4.1 流水 线 运 算 


向 量 计 算 机 快 的 主要 原因 与 流水线 "有 关 . 流水 线 的 概念 最 
好 是 用 生产 装配 线 作 为 例 了 来 说 明 . 殷 定 组 装 每 辆 汽车 需要 在 装 
配 线 上 的 60 个 工作 台 每 -个 花 1 分钟 .这 样 ,组 装 1000 辆 汽车 大 
约 需要 1000+ 60 = 1060 分 钟 ,对 于 这 种 生产 量 来 说 ,该 条 生产 线 
的 有 效 * 向 量 速 度 " 是 每 分 钟 1000/1060 辆 .在 另 一 方面 ,如 果 组 装 
线 上 人 员 不 是, 出 要 1 小 时 才能 启动 一 次 新 的 组 装 , 所 以 制造 
1000 辆 汽车 需要 1000 小 时 .在 这 种 情况 下 ,这 条 生产 线 的 有 效 
“标量 速度 "是 每 分 钟 1760 辆 . 

同样 ,对 向 量 相 如 z = > + y RAH KA Ree uL n 
此 .每 个 标量 运算 z — x, + y; 像 是 一 辆 车 , 问 量 的 苑 素 个 数 就 如 
生产 量 , 如 果 每 个 = 从 开始 到 结束 的 时 间 是 * , 则 利用 流水 线 的 n 
维 向 量 相 加 可 以 在 远 小 于 ne 的 时 间 完 成 ,这 就 户 生 了 向 量 速 度 . 
没有 流水 线 ,向量 计算 以 标量 速度 进行 ,从 而 将 需要 大 约 nr 时 间 
完成 . 

我 们 看 一 组 浮 点 运算 什么 样 才 可 以 流水 线 化 . 浮 点 运算 通常 
需要 几 步 完成 .举例 米 说 ,两 个 标量 工 和 yw 的 3 步 怠 可 按 导 1.4.1 
进行 -为 说 明 这 一 运算 ,我 们 还 用 上 面 的 比喻 ,把 加 法 器 看 成 一 条 
有 三 个 “工作 台 ” 的 装配 线 .输入 的 数组 + 和 wy 要 在 三 个 工作 台 上 
都 花 上 -- 步 ,二 步 之 后 和 = 号 出 来 了 .注意 到 ， 无 等 待 的 单个 加 
法 需要 计算 时 ,在 计算 过 程 中 三 个 工作 台 仅 有 当中 之 -个 是 忙 的 . 

s oae Clem j aet] 
图 1.4.1 SPERMS 
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图 1.4.2 ”流水线 化 相 加 
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现在 ,我 们 考虑 向 量 相 加 xz= 了 +y.z 和 > 就 像 在 流水 线 似 
的 通过 加 法 器 . 一旦 流水 线 充满 之 后 ,每 … 个 步骤 就 可 得 到 一 个 
z. E 1.4.2 刻画 了 流水 线 充满 后 的 情形 , 在 这 种 情形 .向 量 速 度 
就 大 约 是 标量 速度 的 三 信 , 这 是 由 于 每 - -个 单独 的 加 法 需要 3 步 . 


1.4.2 向 量 运算 


向 量 计 算 机 具有 “向 量 指令 "的 功能 ,如 向 量 相 加 V] EE TA. 
向 量 加 数 ,点 积 和 saxpy. 为 明了 起 见 , 我 们 很 定 是 在 “向 量 寄 存 下 
考虑 这 些 运算 . 向 量 在 寄存 器 和 人 悄 存 器 之 间 可 通过 ”vector load” 和 
"vector store 指令 来 交换 . 

向 董 处 理 器 中 的 一 个 重要 的 因素 是 应 量 寄生 器 的 长 度 , 我 们 
记 之 为 vj .一 个 nn 维和 疝 量 运算 必须 分 为 者 干 个 长 度 不 超过 wi 的 
子 向 量 的 运算 ,以 下 就 n 维 向 量 相 加 z= z + y 说 明 如 和 何 进行 分 
Ri. 

first — 1 

while — first z 

last ^ min| n , first+ v; — 11 

vector load wz (first: last) 

vector load (first: last) 

vector add z(first: last) = x (fist: last) + yCfirst: last? 
vector store 2 (first: last). 

first = last + 1 

end 

向 量 计算 机 的 合理 的 编译 器 应 该 可 以 从 程序 中 的 z = < + y $Ë 
令 自 动产 生 上 述 向 量 指令 . 


1.4.5 BRKE 


假定 向 量 运算 op 的 流水 线 需要 cp 步 “启动 ”还 假定 当 流 水 线 
充满 后 每 步 可 得 到 结果 的 一 个 分 量 .完成 一 个 n 维 的 op 所 需 时 间 


Ce PE a i ww we ii ww a a 


Ta) = (n, + nop, n SÇ OL, 
其 中 yx 是 每 步 所 需 时 间 ,ww EMEA ICE. 
如 果 要 考虑 的 向 量 长 于 向 量 硬 件 的 长 度 , 我 们 已 看 到 必须 将 整 
体 的 向 量 运 算 截 成 硬件 能 处 理 的 分 段 运算 ,所 以 , 当 


n = nU, t no, Ü x. no < uy 
时 ,我 们 可 假定 
ny(r, + wr Jee, no = Ü, 
Ta (n) -4 ni ui ° 
(n (zo + ud + r. + node, 19 FO 


是 n 维 运算 op AAA SAAT, KAA i ee 

Tun) = (n + c, œil n o) dp, 
其 中 ceil(o) 是 满足 于 accel) BJ DBR, BETH HT oe 
要 o 个 flop, 则 对 一 般 n ,计算 的 效率 是 
Pp 1 
Te "TEE. 
# 1 + Decca Ë.) 
QR u 的 单位 是 秒 , 则 只 ,是 每 秒 的 flop X. ofc 
l £g 


UL 


TEA PF fit p] Bie B+ ig ay JF E — B p YE) — yk, 
Hockney 和 Jesshope( 1088) 4E X. 84,5 79 A& 8 — E P [Ë IJ Bee BY n, El) 
P2 le 
T. (nio) 2 H I 

具有 大 因子 zm o BYP kiy [8] is AN RRA. 

FR (SUE a eA E TES RA wi FH RK BIE C = AB + 
C, 其 中 AC” BE ?""4804CC 077.9 1.1.11 PMA 
FU EIFE y MBE LESE DOE T F Ba ER BS RP u] BEE FF : 


for i= I: m 


— _ | 
R (n) = TG) > 


lim R (58) = 


for ; = 1: x 
for k= 1: p 
TP 


((;,j) = ACi AIBA) + CGCr,j) 


end 
end 
end 
这 是 gk 形式 , 它 的 最 内 层 循环 是 p AE SL AT, Ae TES 
效率 模型 可 知 需 要 


Tig = mnp + mn + ceil p/o) * Tax 


步 .对 其 他 几 种 形式 进行 网 样 分 析 可 得 下 表 


形式 + 
HE E nnp + maa *cell( po Y" va. m 
jik sanp + mn ceilt pay, h tax 
ik; mapt+ mp cilin uL)" ra, 
jer map + np oal m/v) r4, 
hij ming + mp*oalun ^vi ra 
Eg rnp + nprocl(nmvi) Tax 


我 们 基于 简单 的 整数 计数 进行 RE BUE rax 和 cu X SUB 
等 .如 果 mmx,n 和 pp 都 小 于 wr , 则 最 有 效 的 形式 应 具有 最 长 的 内 屋 
循环 . 如 果 min 和 p 都 远大 于 ur , 则 六 种 形式 的 差别 其 微 ， 


144 “ 间 ” 的 概念 


向量 运 算 在 存储 上 的 花费 对 运行 速度 是 有 影响 的 . 主要 的 因素 
ee”, 储存 浮 点 向 量 的 " 则 是 同 量 元 素 ( 在 逻辑 内 存 位 置 ;之 间 的 
中 离 . 读 取 两 维 FORTRAN 数组 的 行 不 是 整体 闻 运 算 , 因 为 数组 是 
AAI. SHR. CER UP RRR TT ba f Hi). AB JK [8 
ies TT LAK 2x BET , ATT RIOR. 

为 说 明 " 间 "的 作用 我 们 考虑 年 阵 乘 法 的 六 种 形式 在 最 内 层 是 
如 何 从 A,B 和 C 和 矩阵 中 "抽取 "数据 的 ,这 是 向 量 计算 (点 积 或 sax- 
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py) 所 在 ,一 共有 三 种 可 能 性 
jki 或 Ryi for; = 1: m 
CUG, = C(i,j) + AG, RIB, j) 
end 
ik; 或 bij for; = 1: n 
CCi,j) = Cj) + AG,E)BCR,J) 
end 
Hk 或 jik [or k = 1: p 
CCi.j) = CCi,j) + AG,E)B(R.j) 
end 
Fo a = AE A ALB 以 及 C Bal": 


形式 C 的 " 间 ” 
ji 或 bj: 整体 
ikj HE bij AFE Ë 
ijk BÑ jak 0 


假定 储存 是 按 列 为 顺序 的 .0 间 " 代 圾 在 内 层 循环 中 仅 用 到 数据 的 

“ASTOR. A" TRY" WARKA RATA jei 和 &ji 形式 .这 可 能 
与 基于 向 量 长 度 所 考虑 的 偏好 不 : 致 .这 种 困境 在 高 性 能 计算 是 有 
RRR, RI: — T Hes GR EI] E ICE) 53 y — F E pn ( 2: sk 6 Ik 


“Tel” ) FE AP JE. 


At, A [aj Lj p] BF K BE BF JS n] a 4 BS k Ba ER RE 
i. FRR gaxpy 运算 v= Arty, HP AC SRE. 25 fà] Bie 
见 , 假 定 nu. WA RMR AMAR 1.1.4, 则 核心 的 计 


BEE n T n 维 向 量 的 saxpy: 
for j — Lin 
y= ACJJ)x(G)* y 
end 
我 们 简单 的 送行 模型 表明 需要 
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一 一 一 rr po 


Ti = niru + n) 
A. 
TE 1.2.7 PRITA TORR BEI F — ff h £F r sN BL 88 
下 形式 的 gaxpy: 
for ;—1:z 
for : - 1:5; -1 
yi) = A.vec((: — l)a - i(: — 1072 ri) +yli) 
end 
for f= jin 
yli) = A.vec(GG ~ Dn - ; - 1) 2+ ir) + yli) 
end 
end 
注意 到 第 一 个 i 循环 并 不 是 整体 间 的 saxpy. 如 果 我 们 假定 -个 
n 维 的 非 整 体 间 saxpy 等 价 于 n 个 整体 间 的 saxpy( 一 个 最 坏 的 情 
形 ), 则 此 算法 需要 


步 . 
f£ 1.2.8 节 中 我 们 给 出 了 按 对 角 储 存 的 算法 
for zz —1:nm 
y(i) = A.dag( i). (i)  yCO 
eml 
for & —i:2-1 
z = nk — k(k — 1)72 
iy = DCA,E)x t yi 
for :; —-1:n—£E 
yli = A.dag(i + £)x(i + b) 4 vi) 
end 
iy = DCA, E) nr + yi 
for 2 =1lin-é 
(44d + 


yli Fk) = A.diag(: + t)r() + yli + Ë) 
end 
end 
住 这 种 情形 下 ,每 个 内 层 循环 都 是 整体 间 乘 法 (wz ) ,根据 我 们 的 模 
型 , 它 需 要 
T4 = n(2r,,, + 2) 

g. . 

此 例 说 明了 数据 的 结构 可 以 影响 .个 算法 之 “ 间 ?” 的 性 质 . 按 对 
角 储 存 看 上 去 很 有 吸引 力 , 因 为 它 把 矩阵 紧 谈 地 表示 且 有 整体 间 性 
fit. 当然 仔细 地 分 析 哪 一 种 方式 最 好 取 诀 于 rw 和 rw 的 值 和 非 整体 
间 计 算 以 及 过 量 储存 所 导致 的 精确 影响 . 这 是 一 个 复杂 的 问题 , 它 
需要 精心 设计 的 标准 检查 程序 . 


14.5 考虑 数据 移动 


矩阵 算法 中 的 另 一 个 重要 因素 是 关于 在 算法 执行 过 程 中 需要 
移动 的 数据 草 . 和 矩阵 储存 于 内 存 之 中 ,关于 惩 阵 元 素 的 计算 在 计算 
带 中 进行 .在 许多 计算 机 中 内 存 通信 的 控制 对 性 能 是 十 分 重要 的 ， 
继续 用 本 节 开 始 时 所 用 的 比喻 我 们 能 和 否 足 够 快 输送 矩阵 数据 ,以 
保持 超 快 的 计算 器 是 忙 的 ? 我 们 能 否 把 结果 快速 送 加 内存 ,而 不 致 
于 数据 积压 ?” 图 1.4.3 给 出 一 个 典型 的 单 处 理 器 情形 : 


图 1.4.3 内 存 分 级 系统 


具体 的 设计 在 不 同 的 机 器 中 是 不 间 的 ,但 有 两 条 “公理 "是 满足 的 ; 
45 = 


| 分 级 中 的 每 级 的 储存 有 限 且 由 于 经 济 原 因 分 级 中 越 高 储存 
就 越 小 . 
数据 在 两 级 储存 之 间 的 移动 是 需要 费时 的 ,有 时 还 是 比较 大 
的 . 
没 计 个 有 效 的 矩阵 算法 需要 仔细 考 虚数 据 在 不 同 级 别 存 储 
的 流动 .关于 这 方面 ,向 量 “ 触 "和 数据 再 用 是 重要 的 问题 


1.4.6 jg 


在 许多 超级 计算 机 中 ,数据 量 分 段 { 例 如 ,向 量 ) 是 移动 的 .从 内 
存 读 写 一 组 向 基 所 需 的 时 间 大 致 相 当 于 用 这 组 向 量 进 行 点 积 式 
saxpy 所 需 的 时 间 , 因 而 ,和 矩阵 程序 中 向 量 触 的 数 日 是 重要 的 统计 
数 . 所 谓 “ 向 量 租 ”, 我 们 指 的 是 一 次 向 量 索取 或 向 量 存 写 ， 
我 们 数 一 下 mx n FREUE LEER EL BRE m — me op MI n = 
nivr ,其 中 v, 是 硬件 的 向 量 长 度 ( 见 1.4.3 节 ). 在 这 种 情况 下 ,外 
积 修正 À = À + zyT 可 整理 为 | 
for < =1: mi 
í; = (z — tjo, + Í : ay 
for B=1: ny 
j= (B- l)u +1: Be 
AG,j) = AG) + z(i)y()! 
end 
end 
TREE AG 8T 8 PIDE STER EE TE PAG fr lE , AE x E 
y 的 向 量 触 ,我 们 发 现 一 共 大 约 需 要 
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E18 fi. CBRL AP AT HB eT) 
现在 考虑 gaxpy 修正 y= Az ^ y, HP y € E", > € 8” UR 
AER"x*, 把 计算 分 解 为 长 度 为 wi 的 小 段 可 得 到 


for a =l: mj 
¿ = (a — l)u +l: 
for 8—1:m 
j= B- lu, + 1 : Py 
yG) = yG) + AG,xG) 
end 
end 


[SEE TER AG MSE PRES y 回去 .所 
Lim X n gaxpy 的 阿 量 触 数目 为 


> (2 4 Ma +u) = man. 
B= 
这 是 同样 维 数 外 积 所 需 的 向 量 触 的 一 半 . 所 以 , 当 一 个 计算 可 写成 
外 积 或 者 是 gaxpy 时 ,从 向 量 甬 的 角度 来 看 最 好 是 写成 后 者 . 


14.7 分 块 与 再 用 


缓冲 是 一 个 介 于 运算 器 与 主 内 存 之 间 的 一 个 小 的 高 速 内 存 , 兄 
图 1.4.3. 缓 冲 的 有 效 箱 用 影响 计算 表现 ,因为 它 直接 关系 到 数据 在 
运算 器 与 下 级 内 存 的 流动 . 

为 说 明 这 一 点 ,我 们 考虑 算 阵 乘法 修正 C — AB - CHP A, 
B,CEOR "在于 主 内 存 .所 有 数据 必须 通过 缓冲 才能 到 达 进 行 浮 点 
运算 的 运算 器 .如果 缓冲 小 而 n 较 大 , 则 修正 必须 分 成 小 的 部 分 ,组 
冲 才 可 “体面 的 "让 数据 通过 . 

一 种 方式 是 将 B A CEA: 

= Bi, Bul, C= [C.-C], 


HP xz = IN. MERA 
C, = AB, + C. = S AGB, :) + C, 


我 们 得 到 如 下 计算 框架 
" 47 = 


for a =] ` N 
把 B A C, 取 到 缓冲 
for >` = 1: n 
把 A(:.k) 取 到 缓冲 并 计算 C, 
C, = AG, BBR, :) + C, 
end 
把 C, 存 回 主 内 存 
‘end 
TES BRE he ADA M 个 浮 点 数 , 则 我 们 必须 满足 
2nl + n = M. (1.4.1) 
4 D, 是 缓冲 与 主 内 存 之 间 ( 任 一 方向 ) 浮 点 数 的 流动 次 数 , B 的 每 
个 元 素 都 要 取 到 缓冲 -- 次 ,C 的 每 个 元 素 都 要 取 到 缓冲 一 次 是 存 回 
主 内 存 一 次 ,还 有 A 的 每 个 元 素 都 要 取 到 缓冲 N= n/i 次 .所 以 


3 
Pi = 302 + >. 


为 了 使 数据 流动 尽 可 能 少 ,我 们 在 (1.4.17? 的 条 件 下 选取 尽 可 能 大 
A. FERME 


得 到 
2n* 
— GR ^ , ERE TOR I ER ER 8 ñ) SR oh K pjuj #F e 3: 
TBA CHAR A B9—59, 9] 2 — 52, D(24n7. ED —1- BOR TRE, SE 
冲 只 能 存 三 个 列 向 量 , 则 了 = 1, zene, 

现在 我 们 考虑 A= (Asg),B=(Bg) 和 C=(Cg), 是 NxXN 分 
块 日 每 块 的 维 数 都 是 1 二 n/N. 在 此 分 所 下 ,计算 


N 
Ce = DA Bp t+ Gg 0-1: NB -1:N 
r-l 


Ii == 3n? + 


ere rate 下 计生 


for @=1:N 
fr B=1:N 
将 Ca 取 到 缓冲 
for r—1:N 
将 Avy 和 B 取 到 缓冲 
Cag 一 《oag 十 和 Be 
end 
将 Cs 存 加 主 内 存 
end 
end 
在 此 情形 主 内 存 与 缓 溃 之 间 的 通 量 为 
P, = 2n?7 + 2n. 
这 是 因为 A 和 B 的 元 素 需 要 读 取 N = n/i 次 .C 中 的 每 一 个 元 素 
都 需 庶 取 以 及 存 写 一 次 .我 们 能 通过 选取 尽 可 能 大 的 工 来 极 小 化 这 
一 通 量 , 条 侍 是 只 要 缓冲 中 能 鱼 存 下 三 个 和 抢 阵 块 . 即 


3i? =< M, 
4 pm MARA 
D, 2n? +2n3,/ na 
简单 计算 可 知 


Dn 


2 n? 


M 
Ae EH oy —___M_ 
r2 25? AE! FEX NES 
一 个 重要 的 量 是 n" / M , 惩 阵 太 小 ( 浮 点 数 ) 与 缓冲 器 大 小 之 比 . 当 这 
个 比 增 大 时 ,有 


I2 
I? V3M 


故 知 从 数据 进出 缓冲 器 的 角度 来 说 ,第 二 种 分 块 方案 要 好 .所 有 这 
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些 所 导致 的 基本 结论 是 ,分 块 影响 数据 的 移动 . 
1.4.8 分 块 矩 阵 结构 


我 们 以 讨论 分 块 数据 结构 来 结束 本 节 . 允许 两 维 数组 的 程序 语 
言 必须 有 在 内 存 如 何 储存 这 种 数组 的 约定 .例如 ,FORIRAN 是 按 
列 优先 储存 两 维 数 组 的 . 这 意味 着 一 列 的 元 素 在 内 存 中 的 相 邻 的 . 
所 以 ,如 果 24 个 储存 单元 分 配给 AC 2326 p pz ERA HAE 
把 短 阵 元 素 像 图 1.4.4 那样 排列 储存 在 内 存 之 中 的 . 换 旬 话说 ,如 
R AG REEF oli on) DAG FEF v(G -1)m + i). XXe 
FAS FHA AD SRA A ERE BS ER P 3L 0c E e E 
续 存 局 的 . 


图 1.4.5 FERRE (4x 6 A 22 FH) 


w —— I rn cca r —  á.sssrrÚw— P — rt 1 
vr HIC iia 


TEM Be PASE eT SER DR FF SURE. PE, E 
面 提 到 的 矩阵 A 可 看 是 一 个 2x3 块 矩阵 ,每 块 都 是 2x2 块 , 则 24 
个 元 素 可 按 图 1.4.5 所 排列 . 这 种 数据 结构 对 分 英和 矩阵 算法 是 很 有 
忠 引力, 这 是 由 于 每 块 的 元 素 在 内 存 中 是 连续 存放 的 . 


Lj BE 


1.4.1 SRR D — ABC, HR AC RT", BC R'"" IDEO" 9, 
EEA eR RE, H Pty k SESE GEIB] BU saxpy iiS SERT B] 2g 2 (k) = 
(Lt 2), APL BPR,» 是 每 一 步 的 时 间 . 基 于 这 一 模型 AR D = 
(AB)-C IL FH D- 六 -BC) 来 计算 DD #4? 假定 所 有 的 矩阵 乘法 都 用 je 
(gaxpy) FL. 

1.4.3 设 所 有 的 矩阵 都 是 按 列 情 存 ,运行 长 度 为 上 的 saxpy 需 花 时 2 (4) 
—(Lt &k)u 其 中 也 是 常数 ,rz 是 每 步 的 时 间 , 问 er KR RS zp 
时 间 ? £i — RRA RAL AA BRE nx n LEAR TUE. BELA 
法 会 和 flops # Pr Fe A EFI SERE ERA 

1.4.3° Sh—-Tit C= A'TBA 的 算法 ,其 中 A MBEE nx n BRA 
BESTA. Br 8 AL A Eu S e 55 WK ja]. 

1.4.4 BE ACL RAF A col( 1: man). Ú m = M Mn = DN, 
我 们 把 A 看 成 M x N ERE. 每 块 大 小 为 X b. [ES i.e 0 3 UE PSC; 
Shy IS jSle 1M MIS PRN OR k ES A ot 上) 储存 Ag EIS 
{i ,7 元素, 请 给 出 一 个 将 A RR ACL 1.4. 5) el A col CR) RAS 
密 大 的 工作 数组 ? 


本 节 注 释 与 参考 文献 


St EB po ESTEE PS EE 5 B; SC EE E 
J. J. Dongarra, F. G. Gustavson, and. A. Karp( 1984) , “Implementing Linear Algebra Algorithms for 
Dense Matrices on a Vector Pipeline Machine,” SIAM Reuew 26,91—112. 
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第 二 章 和 矩阵 分 析 


82.1 RREH 

$2.2 向 量 范 数 

$2.3 EHRM 

82.4 有 限 精 度 和 矩阵 计算 
§2.5 正 交 化 与 SVD 

82.6 投影 与 CS oh 

$2.7 正方 线性 方程 组 的 敏感 性 


矩阵 计算 的 算法 之 导出 和 分 析 需 要 借助 于 线性 代数 的 某 些 性 
质 .一 些 基 本 的 性 质 在 $2.1 中 介绍 , 范 数 及 其 性 质 在 82.2 和 
$2.3 中 介绍 .在 $2.4 中 ,我 们 给 出 有 限 精 度 计算 的 模型 并 将 其 用 
于 误差 分 析 . 

再 往 下 的 两 节 讨 论 正 交 性 , 它 在 振 阵 计算 中 的 作用 是 至 关 重 要 
的 .奇异 值 分 解 和 CS 分 解 是 两 个 能 为 秩 以 及 子 空间 之 间 上 里 离 等 重 
要 概念 提供 深刻 理解 的 王 交 约 化 .在 $2.7 我 们 讨论 当 A RO 6 Tia 
Hj Ar = b 之 解 基 如 何 变化 的 ,并 给 出 了 矩阵 条 件数 这 一 重要 概念 ， 


预备 知识 
与 本 章 内 容 相 辅 的 文献 包括 Forssythe 和 Moler( 1967) , Stewart 
(1973) , Stewart 和 Sun(1990) ,以 及 Higham( 1996) . 
82.1. 线性 代数 初步 
本 节 是 线性 代数 的 一 个 粗略 的 复习 Ua Weg TRIES 


应 参阅 本 节 末 给 出 的 参考 文献 . 
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2.1.1 独立 , 子 空 间 , 基 和 维 数 


R" 中 的 一 组 向 量 fal al 如 果 从 >)” an, = 0 可 推出 
at1:2) =0 则 称 为 线性 无 关 , GWA a. 的 非 平 几 组 合 为 替 . 此 时 称 
fal,…,a,| 是 线性 相关 的 ， 

iR" 中 的 子 集 如 果 也 是 向 量 空间 则 称 为 及 ”的 子 空间 . 任 给 一 组 
HE ai ,es € I" ,这 组 向 量 的 所 有 线性 组 合 是 一 个 子 空间 , 称 之 
为 jal,…,a,| 的 张 成 空间 : 


sunl, el = | > pe: 8 ER|. 
如 果 1a1,…, a | 是 线性 无 关 的 且 bE sanla =a LM o E 
41,…,a, 的 惟一 的 线性 组 合 . 

如 果 Si,…,S 是 F“ 中 的 子 空间 , 则 它们 之 和 是 由 S= la, + 
agate taa ES iS LEk ME RMF Sih. MRE vES 都 有 
惟一 的 表示 方式 vzat taag ESA S 称 之 为 直 和 ,在 这 种 
情形 我 们 记 为 S-S DS. S; 的 交集 S= Sj 门 S; 门 … 门 5, 也 
是 一 个 子 空间 . 

子 集 fa sa, 1 是 ja1,…,a, | 的 最 大 线性 无 关于 集 如 果 它 线 
性 无 关 且 不 是 1a1,…, a,1 任 何 线性 无 关于 集 的 真子 集 . 如 果 
la, ，…a | 是 最 大 线性 无 关子 集 则 span|a sa, = spanl a; i 
a; VE. La; ssa; | 是 span [a1,…,0,1 的 一 组 大. 如 果 SCR" 是 一 
子 空间 , 则 可 找到 线性 无 关 的 基 向 量 a,,…,a,ES 满 足 S= 
spanja at. -AFRA S 的 所 有 基 都 有 同样 多 的 元 素 .这 个 数 
EL S 的 维 数 , 记 为 dim( S). 


2.1.2 域 , 零 空间 和 秩 


关于 m xn Bh A 有 两 个 重要 的 子 空间 ,对 的 值 域 定义 为 
rn(A)={yER™: y= Ar, 对 某 一 xz € R"|}. 
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A 的 零 空 间 定义 为 
nuli(A) = tz € R": Az = OF. 
如 果 A=(a,.°7,¢, | 是 一 个 烈 分 划 , 则 
ran( A) = spanía,,'.a,l. 
矩阵 A BPR SL 
rank(A) — dim(ran( A)). 
可 以 证 明 rank( A) = rank( AT). Jl rank( A) «min! m, 1, ET 
ACR” ERHI 12 ACR” DJ 
dim(null( A?) + rank(A) = n. 


2.1.3 Rw 
n Xn PERE L, 是 由 列 分 划 


I, = [eoe] 
所 定义 ,其 中 @, 是 第 个 坐标 向 量 
ej = (0,°°,0,1,0,.…,0). 
a. Tak eh 


deb t BRE PE HAR 到 , 当 维 数 不 明 显 时 ,我 们 用 上 标记 
号 , 即 ej" CR", 

如 果 4 AX PR " 且 满 足 4X=T 则 瑟 是 4 的 道 拭 阵 ,被 
记 为 A RR 和 A 存在 ,A 被 称 为 非 奇 异 ,否则 我 们 说 4 是 奇异 
的 . 

逆 和 矩阵 的 一 些 性 质 在 矩阵 计算 中 起 重要 作用 .乘积 的 逆 等 于 道 
BOE RH; 


(AB)! = B'lA'!. (2.1.1) 
道 的 转 置 等 于 转 置 的 逆 : 
(ADT = (AT)! Sat, (2.1.2) 
恒等式 
l B'-A'!-B'(B-A)A' (2.1.3) 
XH itp Ab SLR. 


Sherman-Morrison- Woodbury 公式 给 出 了 (CA& + OV") zz 3 BJ— 
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方便 的 表达 式 : 
(A + UVI)! = A - AUU + VTA lD) ! vTA-, 
(2.1.4) 
其 中 Acie’ UR OAM VER” HR bbb Sp BO ABRE 
Rk 的 变化 .在 (2.1.4) 中 我 们 假定 4 和 T+ VIA lU BREE SE 
异 的 . 
上 述 事 实 可 以 通过 直接 验算 逆 矩 阵 应 满足 的 条 件 来 还 明 . 例 
如 ,以 下 是 (2,1.3) 的 证 明 ， 
B(A!-B(B-A)A = BA! -(B—-A)A^! = I. 


2.1.4 行列 式 


设 A= (a) ER!" WERIT del A) -a.A€ I" "fig 
列 式 可 由 x — 1 阶 行列 式 来 定义 : 


det(A) = > 1)/* a det(Ay,). 
这 里 AEM A 中 其 去 第 一 行 和 第 ; 7m PH 48 SUAE PE. EREA 


用 性 质 包括 
det( AB) = det(A )det(B), A.B C x2", 
det( AT) = det(A}, A C uw", 
det( cA) = c"det(A), cC R.A C RR”, 
det( A) Z (SA 是 非 奇 异 ， A ER 

2.1.5 微分 


Ba 是 标量 且 Alo EALA as a ER RR m X n 5B EE, R 
对 一 切 i A ja; (o HB RE REO PAR, 则 我 们 记 À (o) 


A(a) = FA la) = [Ña (a) )= (4,(a)). 


带 参数 的 矩阵 之 微分 对 研究 许多 和 矩阵 问题 的 敏感 度 是 很 方便 
的 . 


zJ a 


2.1.1 证 明 : 如 果 ACR "HRA p, WEE KORO pan YC IR PR 
1$ A — XY! , HP rank( X) = rank( Y ) = p. 

2.1.2 BE A(a)C R7*""8 B(a) CIR "RICK EE a irap o eR LUE 
EH 


Xt AG)BG)] = [SACO ] BG + AGO | Dt). 


2.1.3 (Bit A(a) C IK" 的 元 素 都 是 a ORR A Ca — U) a 
Sir] idt , uF BH 


3 A(Q)7] =- AGY! [ Bata) JAQ". 
2.1.4 ACR", bE R. g(2) 7 T lar = pz. 证 明 # 的 梯度 是 


vé(z)- FCAT * A)z - b. 


2.1.5 (Bi AM At ue! BERR ACEH u, ve. uEB A 
Be B(Ata z=) BE up EE E Am Ax = b + au 的 解 . 
iB Au 和 ww 表达 a. 
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82.2 向 量 范 数 


范 数 在 向 量 空间 的 作用 就 像 实数 轴 上 的 绝对 什 : 它 提供 距离 的 
一 个 度量 .更 确切 地 说 ,IR” SRAM PR EXT — T BEES 
间 , 从 而 ,我 们 在 研究 向 量 及 向 量 函 数 时 有 邻 域 , 开 集 ,收敛 和 连续 
EFAG. 


2.2.1 定义 

FER” EB YG BOE AE GO F EMAS” 到 及 的 函数 ; 

f(x)20, xe" (f(2)=0 HRH x =0); 

f(x*y)mf(x)* fly), x, y€R"; 

f(ax) - lal f(x), aER ,rEeR. 

我 们 用 双 线 记号 来 表示 此 消 数 : f(z)= j| z Ü|. Xr 
用 来 区 分 不 同 的 范 数 . 

一 类 有 用 的 回 量 范 数 是 p 范 数 ,其 定义 为 

loll, = (qzl ++ lal, pi. (2.2.1) 

其 中 最 重要 的 是 1,2 4812523 8I 


[xl = leitet] zl, 


zl2= (rl tg | zn t2)? = (atx), 
lz lo = max | a]. 


在 范 数 || | 意义 下 的 单位 向 量 是 指 满足 于 |‖| z || =1 的 向 量 x 
2.2.2 ”向 量 范 数 性 质 


关于 p 范 数 的 一 个 经 典 结果 是 Holder 不 等 式 
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| 


1 1 


IxTy|x d xls d vll, paT Lb (2.2.2) 
它 的 一 个 非常 重要 的 特殊 情形 是 Cauchy-Schwartz 不 等 式 
| xTy 4 < Iz llallyile- (2.2.3) 


g" cb ag Ag a CARE de SP. te RR l. |. As e É 
E” Eyed ; 则 存在 正常 数 C1 和 Ca 使 得 


cl zl beles clala (2.2.4) 
对 一 切 xc" ARRE. PR, WER > CIR” WA 

Helles lal = nl zl, (2.2.5) 

lele ialla Sva lax lle, (2.2.6) 

lz]. =< zj i= nl zl <. (2.2.7) 


12.3 绝对 误差 和 相对 误差 
BRICE Bree 的 一 个 近似 .对 给 定向 量 范 数 -上 ,我 
们 称 
ea, = || z - xl 


为 他 的 绝对 误差 .如 果 z 关 0, 则 称 


a ful 


为 全 的 相对 误差 . % 范 数 意义 下 的 相对 误差 可 以 换 成 具有 正确 的 
有 效 位 数 的 说 法 .例如 ,如 果 


| Prale (5, 
ix lbs 


则 主 的 最 大 分 量 至 少 有 大 约 p MARRS. 
例 2.2.1 39€ x = (1.234,0.05674)T,={1.235,0.05128)7， 
a | 2-2 lo ll x || oO. 00431073. 1,2, 有 大 约 3 RU 3k 
数字 是 正确 的 而 人 仅 有 一 柱 正确 的 有 效 数字 ， 
. 5 ， 
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2.2.4 West 
如 果 


lim lz- x || = 0, 


我 们 称 n 维 回 量 序列 是 收 伍 的 ,从 (2.2.4) 可 知 ,在 ea 范 数 意义 下 收 
SAAT HEH E B YOU Y Feet. RR 
=] 题 

2.2.1 设 工 < 及 ,证明 lim i xls duda. 

2.2.3 AIAN OS (art by)! Car + by) 及 选取 适当 的 a I b 证 明 Cauchy- 
Schwartz As B30 (2.2.3). 

2.2.3 验证 站. |, 和 | 上 |, 都 是 向 量 范 数 . 

2.2.4 证 明 (2,2,5) 一 (2.2,7), 问 何 时 这 些 等 式 成 立 ? 

2.2.5 WAE 中 x 一 x SAY p= lin 有 r) x. 

2.2.6 通过 验证 不 等 式 | II =- d yd |=] z yl KR rP if fa 
向 量 范 数 是 --- 致 连续 的 . 

2.2.7 B| | BR” ERB ACE". 证 明 如 果 rank( A) = 
aM Hl x a= || Ae || E 上 的 向 量 范 数 ， 

2.2.8 Wo y € R^ JE LR IR NR f(a) = || x — ey [| >. TERI £ TE a 
-xly/yly 时 达到 最 小 . 


2.2.9 (WER | Em (n P e+ Ln]? EO Et BER. 
《二 证 明 : 如 果 +€" WE || > | eC E Rele) ||, + llamCGe | ,). COR HE BE 
cn 使 得 ct | Relax) jl, + || Imtr) |] ez dl lo 对 一 切 xE 都 成 立 ， 

2.2.10 证 明 或 举例 反 证 

ln 


o E t= vl H o|. = 5 | wlia. 


本 市 注释 与 参考 文献 
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202—221. 
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分 析 和 矩阵 算法 时 常 需要 利用 矩阵 范 数 .例如 ,线性 方程 组 解法 
在 系数 矩阵 “几乎 奇 措 ? 时 效果 可 能 很 差 , 为 了 异化 几乎 奇 措 这 一 概 
念 我 们 需要 咎 阵 空间 之 距离 的 度量 .和 矩阵 范 数 提供 了 此 度量 . 


2.3.1 EX 


因为 "* "与 ee e EA, RETER Hus 54 py t T Ip] E ye S 
RUxE ML. ERB fe 在 满足 

F(A) 20, AC xz"""C(fLA)-0 

“SHY A=0); 

J(A+B)< /(A)+/(B), A, BERT"; 

FAS lal f(A}, aE AGU, 
R= PRA Ee. 与 问 量 范 数 一 样 ,我 们 用 带 下 标 双 竖 线 
来 表示 矩阵 范 数 , 即 ‖| A | = (CA). 

在 数值 线性 代数 中 ,最 常用 的 矩阵 范 数 POP Frobenius 范 数 ) 


(2.3.1) 
和 p 范 数 
| Hu | Ar || 
| Alp = Tal, (2.3.2) 


注意 到 矩阵 p BRN RET L-CS p 范 数 , 验 证 
(2.3.1) 和 {2.3.2) 是 矩阵 范 数 将 作为 练习 ,很 明显 , || A TL ;是 将 
A 作用 到 p 范 数 单位 同 量 所 得 到 的 最 大 问 尾 的 p 范 数 


Al = sp al TET) p5 me Anl 
重要 的 是 要 认识 到 (2.3.1) 和 {2.3.2} 定 义 了 范 数 簇 ,例如 坟 3** 上 的 


2 范 数 与 3** 上 的 2 范 数 是 不 同 的 函数 ,因而 ,很 容易 验证 的 如 下 不 
等 式 


ah 51 + 


— arus sr HF=su 


JAB < HAJ, MBI], AGB" BE Bs, 
(2.3.3) 
实质 上 是 关于 三 种 不 同 范 数 之 间 关 系 的 结论 . 规范 地 说 ,如 果 对 所 
F ACRE” A BERA F(LABUE f(A) f,(B) WR, E”, 
2 AS ERE fr fs A fs Ia sm. 
并 非 所 有 范 数 都 满足 可 乘 性 质 : 
| ABI < |All UBI. (2.3.4) 
例如 , 设 141 A = max | e; | 和 
1 1 
A-B-[ ||, 
则 | AB a> || Alal Bl. 大 多 数 情形 下 ,我 们 研究 的 范 数 潢 
JE (2.3.4): 
户 范 数 有 一 重要 性 质 , 即 对 任何 ACL CR z € R" 有 
| Ax || << || All, il x |. B— ih,” 上 的 任意 向 量 范 数 
| * || AR” 上 的 任意 向 量 范 数 lle A | Ax Ig A lleg 
| x ll, oF || A Hue ga 


a 


NAc Is (2.3.5) 


[Als Sp TzT 
所 是 多 的 矩阵 范 数 ,我 们 称 外 站。 是 从 属于 向 量 范 数 外. la M 
| * lg. BFRGtceR*: || x ||, 1 ARH, mA || - |, 是 连续 
的 , 故 有 
[Als ma lAzlg- lAz'ls. (2.3.6) 
对 某 一 单位 a 范 数 向 量 >" CIR" 成立， 
2.3.2 ”一些 矩 阵 范 数 性质 
Frobenius 范 数 和 p 范 数 (特别 是 p = 1,2,co) 满 足 一 些 在 矩阵 
计算 的 分 析 中 常常 用 到 的 不 等 式 . 对 ACR"? ,我们 有 
| S lA lg n || Alls, (2.3.7) 
. 67 : 
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max| a, | < || À llo mn max | a, | , (2.3.8) 
n) 


y 


ry) 
4 上 
| A lly = max 2; | 3; 
ljam] 


E (2.3.9) 


; (2.3.10) 


Tt 
A le = max > |a; 
Ls ?em 1-1 


JA qAllazlAlssvmlAls, (2.3.11) 


dn 
A Jala haliza al  (.3.12) 
fom 
没 ACI qmm VK 183 jn. 
WAG isa :72) | p < | A ll »- (2.3.13) 


这 些 关系 式 的 证 明 不 难 , 均 留 为 作业 . 

{Fimo || A? — A || = 0, WER LAC? 1€ smt pe ae 
的 . 范 数 的 选取 是 无 关 紧要 ,这 是 因为 :sx" 上 的 所 有 范 数 邦 是 等 价 
的 . 


2.3.3 矩阵 的 2 范 数 


短 阵 1 范 数 和 吕 范 数 的 一 个 好 性 质 是 它们 可 从 (2.3.9) 和 种 
{2.3.10) 容 易 地 计算 .2 范 数 的 特征 次 复杂 得 多 . 

定理 2.3.1 RACE” "LR E T 4345 2 ER n BOE z 
Jd AT Az— uz 其 中 w= || A lls. 

证 明 假定 +€ á" TEE | A l = HA ||, R5 du aj m: H 
于 z 极 大 化 函数 


(z) = Í | Az|3 _ 1 zTATAz 
Ë 2 Wall? 2 ale ’ 


ror 
故 有 Vg(z) =0 其 中 vg 是 g 的 梯度 .详细 的 微分 计算 表明 对 -- Ul 
i 三 1:n 有 
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SS Fp pp pe 


2862) = [ (72) Y (ATA), 2, - (2TAT Az) a, ] T2. 


dz, 
利用 上 上 式 和 vg(z)=0 得 到 ATAz =(2TAT AL) z. > u= || Az ll, 
即 知 定理 成 立 . E 

该 定理 表明 A 上 3 是 多 项 式 pla) = detl ATA - Az) WES, 
精确 地 说 ,4 的 2 范 数 是 ATA 的 最 大 特征 值 之 平方 根 .在 第 七 章 各 
第 八 章 我 们 将 进一步 讨论 特征 值 , 现在 ,我 们 仅 注 意 2 范 数 的 计算 
是 需要 适 代 而 且 肯 定 比 矩阵 1 范 数 式 o 范 数 之 计算 要 复杂 ,幸运 的 
ié.SnJR H i de 48 8) | A |, 大 小 阶 的 估计 , 则 可 利用 (2.3.7)， 
(2.3.11) 或 (2.3.12). 

作为 “ 范 数 分 析 ” 的 例子 ,下 面 是 2 范 数 佑 计 的 -… 个 巧妙 结果 ， 

推论 2.3.2 ik ACE""",MILAlls/ lal Halo. 

证 明 设 r70 WE ATAz= pr, EP p= | A ||, WA 

lz]; = I ATAz |]; < HATILIAT el, 
= || Alle All, zl. Ü 


2.3.4 扰动 与 送 矩 阵 


我 们 常用 范 数 来 对 扰动 的 影响 量化 或 者 证 明 一 个 矩阵 序列 收 
”化 于 一 特定 的 极限 .作为 范 数 的 这 些 运用 之 一 例子 ,我 们 把 a 100 
变化 表示 为 A 的 变化 之 函数 . 
引 理 2.3.3 wR FCI"""RIF[cL,2 1 -FiE4JER 
( 工 一 下 ) = M, 
t — Ü 
而 且 


- 上 
F- F)! = —. 


证 明 REI FAR RES + OO F)z =0. 从 而 
all = ll Ecl, THEN | Fy 1, FR. WA T- FRR. 3S 
PANEKE, EREE 


(X r)a- F)-1I-FF', 
BF IF Il, <1 ,从 而 由 l| F* || ,=< l| F ls 可知 limF =0. 
TH 
(lim 27 F)ur-F)- 1. 


BORUL- F)! = lim Y FC BEREE] 


NUM. 
N 1 
_ Rll ko t o 
| (E - F) l< È Fl; i_|Fl, 


HEUS EE Ae | G- F) - I| Sc | F |, (I — 
F| ,). FE. 4 eA FHM Ole ah pak Rr y O (e it 
动 .我 们 把 这 一 结果 推广 到 一 般 矩 阵 . 
定理 2.3.4 it A XdESJER r= | A'EW,<IM ATE 
GHB (A+E)-A TY Sed, HA IAI- r). 
证 明 HT AdEARH.ACE-A(I-PLLETF--A!E. 
HA F| ,<1, M5188 2.3.3 53 I- F FERH || (r- F) |l p< 
1⁄41—r).W(A +E) !(I- F) !'A ', 所 以 
fall, 
l-r ' 


ui 


| CA +E) |, < 


等 式 (2.1.3) 表 明 (4 +E) !' CA !——A !E(A E) | BRER 
取 范 数 我 们 有 
Ia + Eyt- Aa !l,sz fat, ell, | (A +E) I, 


L || 2 
< Ta Slel, | 
习 B 


2.3.1. 证 明 | ABI SA DL, | BI, EP de <o. 

2.3.2 i B E A ETE, EH || B I << | A lly. 

2.3.3 E BH ; an È D = diag (p1, 7, pe) E R", k = minim, ni, M 
à 65 * 


r ——S — ái o LL LR. Á luni RR RE ER ERR RR ERR ERR 


lI D ||, maxl zs, | 
2.3.4 uEHj(2.3.7) 81(2.3.8). 
2.3.5 WEAR(2.3.9) 89(2.3.10). 
2.3.6 üE8B (2.3.11) (2.3.12). 
2.3.7 iEA (2.3.13). 
2.3.8 EBA: UR 02 C sn EC inn H 


t SY. j| ge | 2 | Es l5 
ig(1-5-)ib- dept ROS 

2.3.9 it 4C ^" AM oCr^. WEAR F = vot kil 

fei. = El = lwuilzlvlsf E |o llull elt. 


2.3.40 AERP "8 yE 3" MA Gs C3 WER ES (y — As)sT 2 T, 
是 所 有 满足 (A +E) = y 的 共有 最 小 2 范 数 的 m Hn HR. 
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$2.4 ARAETA 


使 得 矩阵 计算 这 一 领域 如 此 非 平 凡 而 且 有 趣 的 部 分 原因 是 售 
入 证 差 .在 本 节 我 们 建立 一 个 浮 点 运算 的 模型 并 用 其 讨论 浮 点 的 点 
fA , saxpy , SE. RE- M EE HIE qH 5p E 4p PAS MERE RO V 2S Pa. 如 需要 比 我 们 在 
JL di B SH ER ACH Ab EE, L Higham ( 1996) 38 Wilkinson (1965). 
Forsythe 和 Moler( 1967) LA & Sfeward(1973) 的 讨论 也 是 很 精彩 的 . 


2.4.1 浮 点 数 
在 计算 机 进行 计算 时 ,每 一 算术 运算 常 被 会 入 误差 影响 .此 误 


差 之 产生 是 因为 机 器 硬件 仅 能 表示 实 煞 的 一 个 子 集 . 我 们 用 F 表示 
该 子 集 且 称 它 的 元 素 为 浮 点 数 , 按照 Forsythe, Makom 和 Moler 
(1977 ,第 10 一 29 页 ) 的 约定 ,一 个 特定 的 计算 机 上 的 学 点 数 体系 可 
由 四 个 整数 来 刻画 :基数 5, 精度 1, 指数 区 间 [ L U]. 具体 地 说 ,下 
由 所 有 形 如 f= t. did. d, XB, 0=d,<B,d4,Z0,L= e= U 
的 数 各 零 组 成 .注意 对 非 零 FCF ,我 们 有 mal EM, Hm 

m= Bt! im = BU(1- 8° °). (2.4.1) 
例如 ,如 果 g—2,:—3,L—0 和 和 U=2, 则 下 的 非 真 元 素 则 在 图 
2.4.1 中 数 轴 上 的 竖 线 所 表示 .注意 这 些 溯 点 数 并 非 等 怎 分 布 .(B， 
t L, OAAR 8 (2,56, — 64,64). 


Ht 
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图 2.4.1 TÉRJUBCR ERES T- 


2.4.22 浮 点 运算 模型 


为 对 一 给 定 算法 给 出 舍 人 误差 之 影响 的 - 般 性 结论 ,有 必要 给 
出 下 中 的 计算 机 运算 模型 ,为 此 ,定义 集合 G. 
G= IrEERE,m 人 SRIzr I< MI U iol, (2.4.2) 
以 及 G-F AB A: 


j c € F, c 不 惟一 中 
aia) = (RABE + ñ c € F, c 不 惟一 时 


用 截断 方式 选取 
可 证 明 A 算 子 满足 
fl(x) = zx(l + €), le |< u, (2.4.3) 
其 中 u ERISA, REK 
u = Le. (2.4.4) 


57 ' 


— u r Tira rss 


二 中 的 任 一 种 .如 果 a op b€ G, MERNIH E Anf BO 中 我 们 约 
Ela op b) ETE AS (a op b). RIJA fi(a opb) = (a ap b) (1+ 
e), lels. FH 


la ob b | = 
这 表明 每 个 算术 运算 都 有 -小 的 和 对 误差 号 .但 是 , 当 涉 及 -系列 运 
算 时 ,情况 并 非 如 此 . 

例 2.4.1 设 浮 点 运算 中 8=10,t=3, 则 从 AL ACO 441) — 
1]-0 表明 相对 误差 为 1. 另 一 方面 精确 答案 由 ALAMO C € AO 
1))]=10 “给 出 . 故 知 , 淳 点 运算 并 不 总 是 可 结合 的 . 

如 果 a op b €G , WARTE A. oH |a op b] > M XX 
la op b| < m BLA BIRR E R RI F Hé. GF BB H; OS ES JE VL BC AS: Bl 
情形 是 与 机 器 硬件 与 系统 有 关 的 . 


2.4.3 相 消 


有 限 精度 运算 的 妇 一 重要 方 商 是 灾难 性 相 消 现 象 .粗略 也 说 ， 
这 一 本 语 是 指 用 大 数 棚 加 得 到 小 数 时 所 导致 有 效 位 数 的 太 量 失去 . 
Forsythe, Malcolm 和 Moler(1977 ,pp 14 一 16) 给 出 的 一 个 著名 例子 是 
用 Taylor 级 数 计 算 e“, 其 中 a >0. 此 方法 的 舍 人 误差 大 纲 是 最 大 
部 分 和 的 < UPAR a ,该 误差 实际 上 比 要 求 的 指数 e“ 还 大 ， 
因而 无 论 级 数 和 中 用 多 少 项 ,计算 结果 中 没有 正确 的 有 效 数 字 . m 
- JT BI, SIZRAE e^ 的 Taylor 级 数 中 有 是 够 多 项 相 加 ,然后 求 其 倒数 ， 
则 可 得 到 满足 精度 的 e “之 近似 值 . 


2.4.4 绝对 值 记 号 


在 讨论 一 些 年 阵 计算 的 舍 人 误 益 分 析 前 ,我 们 先 熟悉 一 些 有 用 
的 记号 . 设 AER”™** ,我们 希望 把 它 的 浮 点 数 表示 所 导致 的 误差 量 


D 有些 重要 的 机 器 的 加 法 弃 算 满足 fato)=(+e)atUre dbl e,|, 
| ex <u. TEXCERELIS RARE RARI (ato) - (at bula BUR — FE WE WZ. 


化 . 记 A PELO CA). FATED AUI 
[ACAD], = Ala) =a, (Lt es), leyl<u, (2.4.6) 
对 所 有 i Ay BBM. WR RTA AA £3 x TS $1 — i #f. By Jy 
TRA. A AB ABR e MM 
= |Al=>4, = laj|. 
B Ab, <a, i = l: m, p= din. 
利用 这 些 记号 , 则 (2.4.3 可 写成 
| ACA) — A| sz ul AL. 
这 样 一 个 关系 式 很 容易 变 成 范 数 不 等 式 , 例 如 || QCA) -A || < 
ul A ||, BÆ, ALAR SARE PAM BIS E SS CE 
有 信息 性 是 因为 它 对 每 一 个 元 素 都 有 估计 . 


2.4.5 点 积 的 合 入 误差 
我 们 以 考虑 标准 的 点 积 所 引起 的 舍 入 误 莽 来 开 妈 有 了 昭 精 度 泪 


ea 


P—]:m.;—1:m: 


阵 计算 的 研究 : 
s=0 
for Slin 
$7 gays (2.4.7) 
end 


这 里 Ay Abs 3€ 1 E pu. 

要 试图 量化 此 算法 的 舍 人 误 莽 ,我 们 立刻 面临 一 个 记号 问题 ; 
计算 值 与 准确 值 的 区 分 . 当 所 考虑 的 计算 是 时 显 时 .我 们 用 算 子 
fC ) 表 示 计 算 值 .这 样 (x1y) 就 表示 (2.4.7) 所 输出 的 计算 结果 . 
我 们 来 千 计 | EG yo r y | 的 界 . An 


p 
Sp T R( >) xi), 
JW] s= zi (1-0; XE |ó | 所 ww, 而 内 对 于 p=2:n 有 
sp= fl(s, 1 + fll mays)) 
= (s, 1 + Tayptl + ICE + ep), 
. 69 a 


w—r-s= w—nmrs A O q 


ESNETESPS (2.4.8) 
简单 的 代数 可 证 
fl(xly) = s, = | + rp), 
其 中 B 
(l+ r) = (+ ao) L G + =. 
这 里 利用 了 约定 e = 0. 于 是 U 
| GTy) — zTy E 1 nl Lnd (2.4.9) 


为 进一步 分 析 , 我 们 必须 用 u KAE | r | 的 界 .下 面 的 结果 对 此 是 
有 用 的 . 


引 理 2.4.1 wR +e) = || (+ a.) X Plo,l zu B. nu 
k-i 
«0.1, 3] La | xz 1.012. 


WEAR 见 Higham(1996,p75). O 
Jok z RAAF (2.4.9) HA 合理 假定 axs0.1 则 得 到 
| fi(x Ty) — xIy| <1.01lnul| zly|， (2.4.10) 


注意 ,在 | Ty] «| xlTI yl ROT MAES RT BEAR Rh. 
2.4.6 ”量化 舍 入 误差 的 其 他 方式 


估计 引 理 2.4.1 中 a 之 界 的 一 个 较 简单 但 不 太 精 确 的 方式 是 
lal<nut+ Oa?). 利 用 此 约定 ,我 们 有 
| xy) 一 zyl nu|x|T| yl* Olu). (2.4.11) 


表示 同样 结果 的 其 他 方式 包括 

| (aly) -Tyl gnulzrx|T|y| (2.4.12) 
和 

| A(x’ y) -ryl cnul elly], (2.4.13) 


其 中 (2.4.12) 中 的 $C dE n B9 — O LU 8366, (2.4.13) PRI c 
是 一 个 量 级 为 1 的 常数 . 
. 70 š 


我 们 对 (2.,4.10) 一 <2.4.13) 所 给 出 的 误差 界 形式 不 表示 任何 的 
偏好 . 这样 我 们 就 森 必 将 交 献 中 的 误 关 分 析 结 果 改 写成 某 固定 形 
式 .而 是 ,过 份 关 心 误差 界 的 细节 与 售 入 误差 分 析 之 “ 宗 兴 "是 不 符 
的 .正如 Wilkinson( 1971 , p567 ) fr Dà : 

45 RA — Fb ey ded EIR SPT PEER 69 358 3842 EUR f 
过 重 . 依 我 之 见 , 界 本 身 通常 是 最 不 重要 的. 此 类 分 析 的 主要 目的 在 
于 摇 露 算法 中 可 能 存在 的 潜在 不 智 定性 ,从 而 希望 由 所 得 到 的 内 在 
PE Fi RR ES 65 pk t. RAR 3 W W AEE SE ae Ade 5X 
因为 需要 把 大 量 的 细节 限制 到 合理 的 水 平 , 还 因为 把 误差 用 给 阵 范 
数 来 表示 所 带 来 的 局 限 性 .一 般 来 说 , 先 验 误差 界 是 不 应 在 实际 中 
用 的 量 .实用 的 误差 界 常 常 由 某 后 验 误差 估计 决定 ,因为 这 样 可 充 
分 利用 会 入 误差 的 统计 分 布 和 纸 阵 的 特殊 性 质 ,如 稀 朴 性 等 . 

重要 的 是 我 们 要 牢记 这 些 观 点 ， 


2.4.7 点 积累 加 


有 些 计算 机 能 够 用 双 精 度 来 累加 点 积 .这 就 是 说 ,如 果 这 和 y 
是 长 度 为 1 位 数 的 浮 点 数 向 量 , 则 (2.4.7) 中 的 和 5s 是 在 长 度 为 2 
位 数 的 记 数 器 中 选 加 .由 于 两 个 c 位 数 的 浮 点 数 之 积 可 精确 地 用 双 
精度 变量 表示 ,只 有 当 s SHR PEAR BJ 4 pe #E SARE. E 
此 情形 下 ,常常 可 以 断言 计算 的 点 积 有 好 的 相对 误差 , 即 CT y) 
=zrly(1+ó),| 3lsx. 因 而 , 毗 加 点 积 是 很 有 吸引 力 的 . 


2.4.8 Rf BEER EAE 
很 容易 证 明 , 如 果 A MB EAE, a 是 浮 点 数 , 则 
fl(aA) = aA + E,| E|] < a| eA | (2.4.14) 


f#IlA+B)= (A+ B)+ E,| El t ul A + Bl. 
(2.4.15) 
从 这 两 个 结果 很 容易 验证 计算 出 米 的 saxpy 和 外 积 修正 满足 
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flac + y) -ar* yt z,izistuaQlaxlt yl) + Oe), 
(2.4.16) 

ROC + uv) = C + w+ E, El<u€tel+2bavll) + Olu’). 
(2.4.17) 

利用 (2.4.10) 不 难 证 明 两 个 浮 点 矩阵 A 和 B SE TO AR 

是 

ALAB) = AB + E,|El<nu| A|| Bl + Olu’). 

(2.4.18) 

基于 gaxpy 以 及 基于 外 积 的 乘法 也 有 同样 的 结果 .注意 ,矩阵 乘法 并 

不 一 定 有 小 的 相对 误差 ,这 是 因为 | 4B| 可 能 远 小 于 | 4| | BI ,例如 


1 1 | 01 roo 0 
La lk 9.90 ol | 0 中 
利用 到 自前 所 讨论 的 舍 入 误差 结果 ,不 难得 到 -- 些 范 数 界 . RR 
们 考查 浮 点 矩阵 乘法 的 1 范 数 误差 , 则 容易 从 (2.4.18) 证 明 
| ACAB) - AB ll; nu ll A ll, | Bil, + OG). 
(2.4.19) 


2.4.9 向 前 和 向 后 误差 分 析 


上 痪 给 出 的 售 人 误差 界 都 是 由 “向 前 误差 分 析 "所 导出 的 ,性 一 
个 刻画 一 个 算法 售 人 误差 的 方式 可 通过 称 之 为 “向 后 误差 分 析 的 
技巧 来 实现 .在 此 情形 下 ,会 入 误差 是 关于 问题 的 数据 而 不 是 关于 
解 .作为 -个 例子 ,考虑 xn =2 时 的 三 角 和 矩阵 相 乘 . 可 以 证 最 : 
abut ey) (anbo(1+ e + apball + e)l + di 


ACAB) = | Ü anbnll + e5) 
其 中 |e | tu G =1:5). 但 是 ,如 果 我 们 定义 


. K: ay (1 + exY(1 + u 
À = 


0 ay (1 + €s) 


B- [ut t ee alt + eL ea] 
i 0 b | 
则 容易 证 明 AAC AB) = ÀB. ñ B. 


h 


A-At+E, | E| xz2ul A | Olu’); 


B-B-«F, | Fl <2u|B}+ Olx’). 
换 铝 话说 ,计算 的 乘积 是 稍 加 拢 动 后 的 4& 和 B OER. 


2.4.10 Strassen 乘积 的 误差 


在 1.3.8 TRENE T Strassen(1969) 提 出 的 一 种 非常 规矩 阵 
相 乘 过 程 . 比较 该 方法 和 $1.1 6 b RIK SAR 
差 的 影响 是 有 益 的 . 


可 以 证 明 , Strassen 的 做 法 (算法 1.3.1) 产 生 的 C= fL (ABA 
一 个 形 如 (2,4.19) 的 不 等 式 . 这 在 许多 应 用 中 就 足够 了 .但 是 ， 


Strassen 方法 所 产生 的 性 并 不 总 满足 形 如 (2.4.18) 的 不 等 式 .为 看 清 
这 一 点 ,假定 

0.99 del 
0.0010 0.99 
以 及 用 2 位 数 浮 点 运算 执行 算法 1.3.1. 除 了 其 他 值 ,算法 计算 下 列 
值 ; 


A= B = 


P, = A(0.99(0.001 — 0.99)) = — 0.98, 
P, = R((0.99 + 0.001)0.99) = 0.98, 


E = ACP3+ Ps) = 0.0, 
而 精确 计算 有 c =2(0.001) (0. 99) = 0. 0198, Er, BH 1.3.1 求 
出 的 cj 没有 一 位 正确 有 效 数 字 ., Strassen. 方式 在 此 例 中 有 麻烦 是 因 
为 非 对 角 线 元 素 小 醒 对 角 线 元 素 大 .注意 ,在 常规 的 矩阵 慰 法 中 bp 
相 52, a, ai 不 会 相 加 ,因而 非 对 角 线 元 素 的 在 计算 中 不 会 被 扔 
-73 . 


- -— — ——— Á—Á——ÓÀ———'U'PQÓ—sr———— | 


视 . 事 实 上 ,对 上 述 4 MB SAMEERA H o = 0.020. 


不 能 按 元 素 准 确 地 算出 性 在 一 些 情形 下 是 非常 严重 的 缺陷 . 例 
如 ,在 Markov 过 程 中 ,a, ,名 和 c; 是 转移 概率 , 故 是 非 负 的 ,如 果 c, 
代表 所 考虑 阿 题 中 某 特别 重要 的 概率 , 则 精确 地 计算 它 就 可能 是 至 


关 重 要 ,注意 ,如 果 ALO 和 B 滨 0, 则 常规 的 矩阵 乘法 计算 出 的 忆 按 
元 素 有 小 的 相对 误差 : 


|- C|= nl A| | B| + Olut) = nul Cl + Olu$). 
上 式 是 由 (2.4.18) 得 到 .此 关系 式 对 Strassen 方法 并 不 一 定 对 .因而 


对 于 非 负 竹 阵 相 乘 需要 比较 精确 计算 2 时 ,算法 1.3.1 并 不 是 很 好 
的 ， 
从 上 面 讨论 延伸 ,我 们 得 到 两 个 很 显然 却 重 要 的 结论 : 
* 不 同 的 方法 计算 同一 量 可 产生 很 不 同 的 结果 ; 
` 一 -个 算法 能 否 产生 满意 的 结果 取决 于 所 述 癌 题 的 类 型 以 及 
用 户 的 目标 ， | 
这 些 观点 将 在 下 面 的 各 章 中 给 以 前 明 . 它 们 与 算法 稳定 手 和 问 
题 条 件 等 概念 是 紧密 相关 的 . 
习 题 
2.4.1 证 明 ,如 果 (2.4.7) 应 用 于 yuu, fix!r)-cx'r(1ltu),H'p 
a | nu t+ (Xu). 
2.4.2 EAA (2.4.3). 
2.4.3 EH, Ani EC" (m2), || [E| B anl Ell. HER 
IT M 8806] [ép WE SP uh FOU A ERA HRS. 
2.4.4 BRAG PPR BRM ROG x)- (OC JE] el su. 
给 出 一 个 计算 | = |, 的 算法 并 估计 误差 界 . | 


2.4.5 EE A fl BBB nxn LEZOARRAK, WEC- mniAB) FB 


81.1 中 的 常规 算法 所 计算 , 问 是 否 有 心 = AB LE PAMBOUEI A AB? 
2.4.6 BEZ AMB Enn PAEK, A 非 奇 昌 满 足 | alal (l= 


L] 74 * 


c WHA; ORO = R CAB) REB § 1.1 r BE AE R 88 , EE Bib = 


Ai BH | B-B | zar || B | o+ Olut}. 
2.4.7 证 明 (2.4.18). 
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$2.5 正 交 化 与 SVD 


正 交 化 在 年 阵 计 算 中 起 非常 重要 的 作用 ,给 出 一 些 定义 之 后 
我 们 证 明 极其 有 用 的 奇异 信 分 解 (SVD). 除了 其 他 作用 ,SVD 使 
我 们 能 巧妙 地 处 理 和 矩阵 秩 的 问题 . 秩 的 概念 ,在 精确 运算 下 虽然 十 
分 清楚 ,但 在 有 误差 情况 下 以 及 扰动 数据 下 就 很 微妙 了 . 利用 
SVD, 我 们 可 以 引信 实用 的 数值 秩 的 概念 . 


2.5.1 正 交 性 


-组 向量 1x1,…, ER" 是 正 交 的 当 对 任意 ; 产 ) 都 有 
z Iz; = 0. 如 果 xir, = 8; UPR A SÉ fu TE XE. EWH, TE Z i) Et E: 


最 无 关 揭 ,因为 它们 指向 完全 不 同 的 方 同 . 
c" 中 一 组 子 空间 Sit S, 称 为 相互 正 交 的 ,如 果 对 i 天] 
都 有 x y=OCr ES,,yE€ SS;).SC." MERAH 
st- ly € C :y!lz-0,VrecSsI 
所 定义 ,不 难 证 明 ranCA27 = null AT). 4055 6] ff vj ,…, 是 单位 
TAK uw" nd FSS MEER S 的 一 组 单位 正 交 基 ， 
WR QEL” ” RE QQ -=T WRA EXE. WMR Q= 
[gign | 是 正 交 的 , 则 q; 形成 区 ”的 单位 正 交 大. 总 可 以 把 一 
ED FEBS” 上 的 一 组 完整 的 单位 正 交 基 . 
定理 2.5.1 RV CR VURAAEERS] MAE VIE 
Saxta 0 使 得 
V —-i(V, Vil 
是 正 交 的 .注意 到 ran(V,)1 ran( Vo). 
证 明 这 是 初等 线性 代数 的 基本 结果 , 它 也 是 我 们 在 $5.2 
中 给 出 的 QR 分 解 的 一 个 推论 ， E 


2.5.2 范 数 和 正 交 变 换 


2 范 数 在 正 交 变换 下 是 不 变 的 ,这 是 因为 若 QTQ = I, W 
| Ox |3=27Q'@x=atx= | x 5. EBEB) 2 范 数 和 Frobenius 
范 数 关 于 正 交 变换 也 是 不 变 的 ,特别 的 ,对 于 维 数 适 当 的 正 交 阵 
Q 和 2, 不 难 证 明 

| @AZ Ip = Alle (2.5.1) 
和 
| gaz || > = || A lla. (2.5.2) 


2.5.3 奇异 值 分 解 


上 两 节 介 绍 的 有 关 范 数 的 理论 可 用 来 证 明 极 其 有 用 的 奇异 值 
分 解 - 
定理 2.5.2( 奇 异 值 分 解 (SVD)) RA 2 32 m X n HE, ñi 


必 存 在 正 交 阵 

U = [ui run] Ca" WMV = [V V] € qn 
使 得 

UTAV = diag( ejs Tp) C R" p = mini mni, 

其 中 oon eo, > 0. 

证 明 S +€ ie" f CR" BWR Ar=oylo= | All 
2 范 数 意 下 的 单位 向 量 . 从 定理 2.5.1 知 ,存在 V,C DA 
UER D di v-[rV,em""fRu-[yU;]C€mg""" 
是 正 交 的 ,不 难 证 明 UAV 有 如 下 结构 


由 于 
lA? hz (a? + wlw), 


RATA || A, || ZZ G7 + ww) a? = || A 3= | AL L5. a 
w =O. HIE id 28 A SA TA BD RT pEBH EM . Ü 
o; 是 和 的 奇异 值 ,向 量 wx Me, A ILES TARR ERI 
第 i 个 右 奇 并 向 量 , 通 过 比较 AV = UL WR ATU = VE! 的 对 应 
列 容 易 验 证 
AU; = ou; 
rT _ be = liminlm,al. 
A u; = av; 
采用 如 下 表示 奇异 值 的 记号 是 方便 的 ， 
s; (A) = A 的 第 i 大 奇异 值 ， 
Cau (A) = A 的 最 大 奇异 值 ， 
Ca A) = A BU aT RE. 
矩阵 的 奇异 值 正好 是 由 下 = lar: ll. =i) Bre X Bud HERR E 
的 半 轴 之 长 . 


. TR: 


fi 2.5.1 
- [0% 1.72 
2.28 0.96 
0.6 -0.81f3 070.8 0.6 
- los 0.6 Il; lee II 
SVD 深刻 揭露 了 矩阵 之 结构 . 设 A BJ SVD H EE 2.5.2 给 
出 ,我们 由 


| = UEVI 


gA Z EG, Pay = = Gs = Ü 
EN r, W 
rank( A) = r, (2.5.3) 
null(A) = spanlv,41,77,v41; (2.5.4) 
ran( A) = spanj al ul. (2.5.5) 
以 及 有 SVD 展开 
、 A= Soup. (2.5.6) 


许多 2 EU Frobenius 范 数 性 质 与 SVD 3E X. UE A C77" , Wt] 


IA l} = ofte 6502. p= mintm,nl, (2.5.7) 


| A lle = cis (2.5.8) 
A 

min +! zl (m Zn). (2.5.9) 
xz lx ds 

2.5.4 组 SVD 

ibA-UEV'C Rm** 且 A 的 SVD 是 光宇 n. 则 
A = UX | VË, 

其 中 
U,= UC:,1: n2 = [uitia] € RY”, 

以 总 


m = E(1 : nl : n) -— diag(d,,**,0,) = a. 
我 们 把 这 个 常用 的 SVD 的 缩小 形式 称 为 细 SVD. 
* 79 =. 


Oo Oe eg Pp m 


2.5.5 #55 SVD 


SVD RA dr IH BJ A A — E të de ER RE Hh b EE eR (59 
概念 .线性 代数 中 许多 定理 具有 形式 如果 这 样 那样 的 一 个 矩阵 
满 秩 , 则 这 样 那 样 的 一 个 性 质 成 立 . "这 类 结果 虽然 简 结 和 完美 ,但 
出 现 几 乎 秩 亏 时 不 能 帮助 我 们 解 次 所 碰 到 的 数值 困难 . 舍 人 误 郑 
和 模糊 数据 使 得 秩 的 确定 很 困难 .事实 上 ,对 很 小 s, 我 们 可 能 感 
兴趣 矩阵 的 e FX ,其 定义 为 

rank(A ,c) = | min rank(B). 


| A-B || xe 
这 样 , 当 实 验 室 得 到 的 A 的 每 一 元 素 a; 具有 精度 +0.001 时 , 考 
# rank( 丰 ,0.001) 束 是 很 合理 的 ,基于 同样 的 考虑 , 设 和 A 是 mxn 
IPERE, i rank(A,e) « mnl m,n!(e- u || A ||; Bf m] aj iÁ 
AA 是 数值 秩 亏 . 
数值 秩 气 和 秩 由 SVD 很 好 地 肇 画 , 因 为 奇异 值 可 表明 一 个 
给 定 矩 阵 与 比 其 秩 低 的 矩阵 之 靠近 程度 . 
定理 2.5.3 ACR” "8 SVD BEH2.5.26 KZ 
<r —rank( A ).H. 


Ë 
A, = Pol, (2.5.10) 
i=1 


min, lA—-Bla- A- All e. (2.5.11) 


证 明 由 于 UTA,V = diag(o,,77,6,,0, 77,0), M rank( A, ) 
=k MUTA — Ay) V = diag(0, --,0,5,.1, 7,0, ) FEAR | A — A; 
ll 27 8&1. 
现 假 定 对 某 一 BC R>” "WE rank(B) = £. 则 存在 单位 正 交 向 
T ris, a-p 8518 null( B) = spaní x, … x, :1 AHAT 
spand zu En-a} N span! vr, 77041 Æ 101}. 


4 z 是 这 一 交集 中 的 -- 个 2 范 数 单位 向 量 .利用 Be = 0 和 
At] 


Az = > ole) u;, 


i=l 


+ SE E er SS r rra 
SS | 


我 们 有 


| A - Bde I (A - B)z |2 = | Ac | 
Ë+1 
= > otl vlz) Zo. 
i=] 
于 是 定理 得 证 . ü 


定理 2.5.3 表明 A 的 最 小 奇异 值 是 从 和 到 所 有 秩 亏 矩阵 集 
侣 之 2 范 数 矩 离 . 还 可 知 32 2 中 满 秩 和 矩阵 的 集合 是 开 的 而 且 是 笛 
ar. 

最 后 ,如果 = = rankCA ,e ) , Bill 


Gi => ctu, => £ = G, zum Oye P = mini m,n}. 
在 85.5 和 12.2 将 进一步 讨论 数值 秩 . 
2.5.6 本 矩阵 


在 复数 域 上 ,对 应 于 正 变 阵 的 是 查 和 矩阵 .确定 地 说 ,如 果 
Qcc' "ig oto = 00" = r H| # E. AA B). V8 SE FE Pt Fr 2 范 
X. SEY SVD 涉及 到 本 矩阵 , 设 ACC’ J| £F fE VR EK U 
€ Cm xm VET” (818 

UAYVY = diago, ap) E R", p= mnim,ni, 
其 中 oo apa. 

习 题 

2.5.1 WH: SABENA sST= —S,WM r— S BIEAR HERCI- 

S) (or SHeiF 289. 这 称 之 为 S 的 Cayley 变换 . 


2.5.2 WEB] — 4A 1E 2E 89 SABRE AR. 
2.5.3 TFA Q OQ. C HR" "HOQ-Q, tig; 是 本 的 , 则 ?zx2r X 


XE RE 
M Dd 
z= 
Co Q, 
是 正 交 的 . 
2.5.4 BEHA(2.5.3) ~(2.5.9) 
a 81 a 


2.5.6 FIX? GM AA = B» 1 | .导出 依赖 于 wc, y 和 > 的 表达 


y xm 
A oua ADF ou CA). 
2.5.7 WER 7 * "HE fel i AB RR. 
2.5.8 证 明 , 如 果 ACR "MERA 8,9 l ACAT AD 7! AT T1]; 1. 
2.5.9 ARREA Frobenius 范 数 意义 下 最 靠近 


A = |， ML ITI 


2.5.10 E: WE A C E^", HJ [| A H esc rankCA) || A lo. Boe 
(2.3.7 m8 T. 
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82.6 投影 与 CS 分 解 


如 果 计 算 的 任务 是 算 一 个 矩阵 或 一 个 向 量 , 则 范 数 在 判断 答 
案 的 精度 或 者 是 度量 克 代 的 进程 是 有 用 的 . 如 果 计 算 的 任务 是 求 
一 个 子 空 间 ,进行 类 似 的 判断 和 度量 就 需要 量化 两 个 子 空间 的 距 
离 . 关于 这 方面 , 正 交 投影 尤为 重要 .给 出 简单 概念 之 后 我 们 将 讨 
论 CS 分 解 . 这 是 一 类 似 于 SVD 的 分 解 , 在 比较 两 个 子 空间 时 很 
方便 .我 们 从 正 交 投影 的 概念 开始 . 


2.6.1 ERR 


设 SER" 是 子 空间 ,如果 PCR""" WE ran( P)=S,P?=P 
AP =p WW PEAS 上 的 正 交 投影 .从 定义 容易 得 知 , 如 果 x 
ER* 则 PrESE(IT-P)rES. 

如 果 P, P. 者 是正 交 投影 , 旭 对 任何 z€ t" 有 

l (P, - P,)z IE = (P,z) (I 一 P,)z + (Pz) (I - Pj)sx. 
如 果 ran( P.) = ran( P.) = S WEAR AS , ACRI 1 T == [Bl 
的 正 诡 投影 是 惟一 和 的. 如果 Velo. vi] 的 列 是 子 空间 S 的 一 
组 正 交 基 , 则 容易 证 明 P= VVT 是 向 S 上 的 惟一 移 正 交 投 影 . 特 
别 地 ,如 果 非 零 问 量 o C RULES P — ol Zulu 是 向 S —spani v] fj 
TERE. 


2.6.2 SVD 相关 的 投影 


有 几 个 重要 的 正 交 投影 与 奇异 值 分 解 有 关 . 设 六 = UEV! 是 
AM SVD B r=rank(A). Bl U AVY Hay 
U-[U, Ü J], velv, VI, 
r 


nr ” Hor 


则 
VVI 是 向 null A)^ = ran( AD) iE 28 E. 
V.VI £I] null( A) LIES. 
UU; 是 向 ran(A) E JF 284855. 
U UT 是 向 ran( A)! = null( 4T) 上 的 正 交 投影 . 


2.6.3 子 空 间 之 间 的 距离 


于 空间 与 正 交 授 影 的 一 一 对 应 使 我 们 能 导出 子 空间 之 间距 高 
的 概念 . 设 S, S, 是 "中 满足 dim(S,) = din( Sz) 的 两 个 子 空 
问 .我 们 定义 这 两 个 子 空 间 之 距离 为 
dist( $1,52) = || P, — P,|,, 
其 中 P, 是 向 S 上 的 正 交 投影 . 两 个 于 空间 的 著 离 可 以 用 某 正 交 


矩阵 的 分 块 来 刻画 ， 
定理 2.6.1 ik 
W=[W W|] Z-IZ, Z] 
Ë n-—k Ë n—k 
都 是 aX n iE3E ABE do X Š, = ran( Wijf S= ran( Z) , B| 
dist( S,, S2) = | WIZ, | z= | Zt W, | 2: 
WE BH 


dist(S,,5,)= | W,W1 - ZZ] ||, 

| WCW, Wl - Z,ZDZ Il; 
| 0 mz | 

7 | - WIZ, 0 > 

注意 到 WIZ, fl WIZ, 是正 交 阵 


Qu Qz WiZ, M 
= = = Wrz 
° lo. Qa k wiz 
的 子 和 矩阵 .我 们 需要 证 明 | Q. || 2= || Qj lo EF Q REX, 
KSN 


| o| |= Pl 
u Q» x ° 
1- || Qux d$ + | Qp z || 5. 


对 :* 中 2 范 数 意义 下 所 有 单位 向 量 x 都 成 立 . 于 是 


| Qa I $= max | Qar lš = 1- min | Qur 13 
all.= 上 | >= 


即 


=1- aus Qa)”. 
类 似 地 ,讨论 OF CHE IE ZC), A LAE 
| Qh Il 5 =1- Omint Qi Y, 
FA if 
| Qi; E -—-1- omn( Qu Y. 
所 以 1 Qa la Il Que Hz L 
注意 , 当 S, AS, ER 中 同 维 的 f == [aj B , p 
0 x dist( 5,,55) <1. 
LEX S, = S; 时 左边 等 号 成 立 , 当 SNS 了 关 101 时 右边 等 对 成 
AL. 
Xd EIAS h BJ Q 短 阵 分 块 形式 的 更 精细 分 析 对 子 空间 之 距 
离 能 提供 更 深入 的 了 解 , 这 需要 对 正 交 矩阵 进行 特殊 的 SVD 型 分 
解 . 


2.6.4 CS 分 解 


正 交 算 阵 分 划 成 2x2 形式 下 的 块 矩阵 与 SVD 密切 相关 . 这 
是 CS 分解 的 基本 点 .我 们 先 证 明 一 个 很 有 用 的 特例 : 
定理 2.6.2(CS 分 解 ( 细 形 式 )) RE 
Q, 
Q= [o 
其 中 myn, mn. 2 Q 635] 2 942 E s 65 m] 5 £ E kE FB 
U ER”, U,C R%% m ša V Enry 


Q, € Zm Q C urn, 


» RS ` 


^ 09]. - (£]. 


C = diag(cos( 04) , 7 cosl 8, 2), 
S = diag(sin(84) ,** ,sin(0,2), 


其 中 


VAR 
KALSKE < 0, <. 
证 明 由 于 Qi; 所 上 8 上 ;=1,Qun 的 奇异 值 都 位 于 [0， 
1] 区 间 , 令 
UIQ Vi = C = diag(eis cn) 
_ É -] t 
Ü Eimi: 
L o n-—t 
E Q, 的 SVD, 其 中 
一 El 二 
为 完成 定理 之 证 明 我 们 需要 构造 正 交 怎 阵 US. 如 果 
Q;V,-IW, Wil, 


i n—i 
jl 
I 0 
U 0 i 
| [ev - Ü x - 
0  L,|.Q; w. W 


由 于 此 和 矩阵 之 列 癌 量 都 是 单位 向 量 , W —0. 由 于 
WIW, = L,_, = XTE = diag(I — cĉ 1 — c2) 
Ieee, AW, BJ $U RIES AMAR. H k = 1: n Oy = 
V 1 — c M 
Z = W.-diag(17/s, 1, 1/s,) | 
的 列 向 量 是 正 交 的 . 利用 定理 2.5.1 知 存在 正 交 阵 D, € R™*™ 
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使 得 Un: e+ l1:n)= Z. 5 BE B] 
UIQ,V = diag(S,,---,5,) = S. 
由 于 citsl—d X iin HOH PCD Et E F PH Ts BARA ll E 2 
fü. E 
用 同样 的 技巧 可 证 明 如 下 更 一 般 的 分 解 颖 果 ， 
定理 2.6.3(CS 分 解 (一 般 形式 )) + 


o = (Qu de. | 
Qa. Qz 
X on X n EZRES 2x 2 分 划 , 则 存在 正 交 阵 
U: 0 -[ Vi: 0 
MEUS 
使 得 
I 0 0:0 0 0 
0c oo S 0 
uroy -|0.0 00 0 1 
0007 0 0 
0 S 0:0 -C 0 
0 0 ro 0 0 


其 中 C= diag(c1,"… ,cp),S = diag( s ,55).8. 0€ c; s; X1, cit 
si-1(i-1:p). 
证 明 详细 证 明了 可 见 Paige 和 Saunders( 1981). 零 短 阵 的 维 数 
BUB PS UB ix ese B ES 6n BE E: 25 BR. 口 
ERRERA BQ, 的 SVD 分解 是 密切 相关 的 . 
例 2.6.1 BE 
-0.7576 0.3697: 0.3838 0.2126 - 0.3112 
— 0.4077 - 0.15527 -0.1129 0.2676 0.8517 
Q = |-0.0488 — 0.7240 -0.6730 -0.1301 0.0602 
-0.2287 0.0088 0.2235 -0.9235 0.2120 
0.4530 0.5612: 0.5806 0.1162 0.3595 
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是 正 交 阵 , 它 在 上 面 的 分 刘 下 可 化 成 
0.9837 0.0000: 0.1800 0.0000 0.0000 
0.0000 0.6781: 0.0000 0.7349 0.0000 
uTOV = (0.0000 0.0000: 0.0000 0.0000 1.0000 . 


0.0000 0.7349: 0.0000 - 0.6781 0.0000 
这 些 余 弦 值 及 正弦 值 所 对 应 的 角度 在 许多 应 用 中 是 很 重要 的 . 见 
8 12.4. 


= s= 


2.6.1 证 明 ; 如 果 p E ESE M Q — I —2p 是 正 变 的 ， 
2.6.2 正 交 投影 的 奇异 值 是 什么 ? 
2.6.3 设 SI=spantzl 和 3 — spaniy!, 其 中 二 和 wy 都 是 :六 中 的 2 范 


数 单位 向 量 . 只 用 dist 的 定义 证 明 dist{S1,Sz)= V 1— (Gr y Y MBET S, 
与 S; 的 距离 是 > 与 y AKALE. 


BERS SS XM 


FW sie CS 分 解 的 不 同性 质 ; 
C. Davis and W. Kahan (1970). “The Rotation of Eigenvectors by a Perturbation TI,” 
SIAM J. Num. Anal. 7 ,1—46. 
G. W. Stewart (19773. "On the Perturbation of Pscudo-Inverses, Projections and Linear 
Least Squares Problems,” SIAM Rewew 19 ,634—662. 
C. C. Paige and M. Saunders (1981). "Toward a Generalized Singular Value Decomposi- 
tion, " SIAM J. Num. Anai . 18,398—405. 
C. C. Paige and M. Wei( 1994). “History and Generality of the CS Decomposition,” Lin. 
Aig. and its Applic. 208 /209 ,303—326. 
— #27, 8 8 FT Se $8.7. 
关于 CS AM RF EER BJ DEALS JL dor Ree E BJ WL 
T. A. Arias, A. Edelman, and S. Smith (1996) “Conjugate Gradieut and Newton's method on 
the Grassman and Stiefel manifolds, " to appear in SLAM J. Matrix Anal. Appl. 
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82.7 正方 线性 方程 组 的 敏感 性 


现在 我 们 用 以 上 各 节 给 出 的 工具 来 分 析 线 性 方程 组 Ax = 5, 
其 中 ACE "BIA RH SCE .我 们 的 目的 是 研究 A TS 
扰动 姐 何 影响 解 x. 更 详细 的 讨论 可 见 Higham(1996). 


2.7.1 SVD 


如 果 A 的 SVD 为 


于 
Ñ 1 


A = > ou! = USV", 


n 
< ulb 
x-A!b-(UEVT)'b = 2, ^w. (2.7.1) 


这 展开 式 表 明 , 当 o, 很 小 时 ,4 或 5 的 微小 动 可 导致 > 较 大 的 变化 . 
只 要 我 们 温习 定理 2.5.3 所 说 ,ao, BA DARE RB 

Boo, 的 大 小 会 影响 Ar=z ARRE, RADERAT T. HRR 

阵 接近 奇异 阵 时 ,从 直观 上 可 明显 看 出 , 解 x 将 对 扰动 更加 敏感 . 


2.7.2 条 件 


线性 方程 组 敏感 性 的 一 个 精确 的 度量 可 通过 研究 带 参 数 方 程 

组 
(AteF)x(e) = b+ef, x(0) = x 
所 得 到 ,其 中 POL", FOR”. WOR A 非 奇 异 , 则 很 明显 (e) TE 
FHARR E ETA, mA, (OOSA ![f- Fr]. FÆ, 
(eA TayLor 级 数 展开 共有 形式 
xe) = x + ez(0) + Ofc’). 

H£ — In] 8 gà SL BY AR EF t 3C n] 8: 


Heel epe qan [EE s ped | ove. 


(2.7.2) 
z 89 - 


AY FRA A ,条 件数 (AER 

«(A) = |All || Av, (2.7.3) 
fE A. of RI CAD) Ao. JR SES (2.7.2) 0 l 5 | <a di 
| = | 可 得 到 


fated el = «(A)(o, + eg) + O(e?), (2.7.4) 


其 中 


_ LEI e LA 
patel Tal P @ ie si 


分 别 表示 A Pb 的 相对 误差 .所 以 ,zr AR 2E OY BE c (A ) 乘 
LL A 和 5&8 的 相对 误差 ,站 这 个 意义 下 ,条 件数 CAD E IG T in] gs 
Ar = b HERH. 

注意 到 x(*) 取 决 于 所 用 的 范 数 以 及 所 对 应 的 下 标 , 例 如 
a,(A) 
a, (A )' 
因此 BEF A 的 2 范 数 条 件数 表示 超 椭 球 14z: || = | ,= 11855 
E. 

RMA ERRAI PE. F p 范 数 条 件数 ,我 们 
有 


(A) = || All, A7! lo = (2.7.5) 


— l Qu šA l, | 
xp(A) amata || A || ; (2.7.6) 


此 结果 可 见于 Kahan (1966). CHH e, CAD EA HB T A A IE REA 
BERZH p 范 数 距离 . 
对 任 一 范 数 ,我 们 还 有 
(tA *8A)l—-A"| 1 _ 
€ | AC! I C 
(2.7.7) 
此 重要 结果 就 是 说 条 件数 是 映射 A — A 1 的 规范 化 的 Frechet 导 
数 .更 详细 的 讨论 可 见 Rice( 1966b) . 值得 提醒 的 是 我 们 是 通过 微 
分 来 导出 e CA). 
WRAK, MPRA 是 病态 斥 阵 .注意 此 性 质 是 依赖 于 范 数 


&(A) = lim sup 


e~Q || 4 | sce | A | 


ft. [Hd n. ERER AR EM e, CRI RER, 
即 能 找到 正常 数 cy 和 cp 使 得 
cik (A) = &g CA) s cK (A), A C xU 
Ai, AR" ERIA 
LA) Se (A) < nel A), 
F(A) <n (A) <nkalA), (2.7.8) 
Lel A) es (A) < n? CA). 


于 是 ,如 困 一 个 矩阵 在 a 范 数 下 是 病态 的 , 则 它 在 8 范 数 意 必 下 
E Ex XN c, Hl cz 为 权 是 病态 的 . 

对 任何 pp 范 数 ,wxpt 有 4) 守 1. 条 件数 小 的 矩阵 称 为 良 态 的 ， 在 
2 范 数 意义 下 , 正 交 矩阵 最 良 楚 ,因为 对 正 交 阵 电 ,有 wx1(Q)=1. 


2.7.3 行列 式 与 靠近 奇异 的 程度 


很 自然 考虑 行列 式 值 度 量 奏 态 的 好 坏 . 如 果 det( A) =0 等 价 
TAH det(A)eO 是 否 等 价 于 靠近 奇异 ? 不 幸 的 是 ,det(4 A 
4z= 沁 的 条 件数 几乎 没什么 关系 :例如 ,矩阵 


1 -1 -1 
Ü l … 一 1 

B=]. . | E m (2.7.9) 
0 0 … 1. 


的 行列 式 为 ,但 col A) n2" 1. AARP RAS 
阵 的 行列 式 可 能 很 小 .例如 ， 

D, = diag(10',---,10°') € i^ 
满足 x,(D,)=1, 但 det{ Dp) =107*. 


注 ;也 惰 束 于 “大 "的 定义 ,这 将 在 龟 3.5 中 讨论 . 91 


2.7.4 一 个 精确 的 范 数 界 


B8 (2.7.4) Z NË p AREE fr (LE, ER LESSE T (ADS 
x(e)TE € =0 Ab B) E (Em BEES CR. HE, RAP HEE 3k 3° 
e de" EME” m AX O DTZ RRA AH ,在 本 节 与 下 一 -小 
PRTC AEE AA Arab 之 扰动 定理 . 

上 首先, 我们 证 明 -- 有 册 的 引 理 , 它 用 <(4) 表 明 什 么 情况 下 一 - 
个 扰动 方程 组 仍 是 非 奇 异 的 ， 

51 2.7.1 假设 

Ar = b, A € RP" 0 4 b C ik”, 

(A -8A)y = bbb, BA E EM ab € zx, 
XZ || 5A || se || A || de || 86 || e || b l| wR ee (Ao r«1, 
则 À 8A FES E. 


I | ltr 
lz S r y: 


证 明 由 于 | 4 A| =e A fA | <1 从 定理 2.3.4 
知 ( 和 起 十 84 ) 非 奇异 ,利用 引 理 2.,3.,3 SKI +A MA)yHart 
A !8b 我 们 发 现 

lys G + ATRA ticle | *ellA^!ll tall) 


«i-e tel acl doll 


itn 8) 


| | a It, S 
|» < <+ 1— 2C x Eo xd xxl. 0 


现在 我 们 给 出 Ar = 请 的 一 个 精确 的 扰动 界 . 
定理 2.7.2 如 果 引 理 2.7.1 中 的 条 件 满足 , 则 


Ex < Fe (A). (2.7.10) 
WEAR 由 于 


— . Te IN TI Ser ur ra U. u. mill 
-w—— w — 


y= r= Ab- A ‘BAY, (2.7. ve 
我 们 有 M, -zl Sella ! lol tell Atl lal ipl, 


例 2.7.1 MA Ar-b 


ry () r] I? 

Lo "IUE SURA 
2A c= (tl,1) 且 条 件数 eus (A) = 10°. 4 X 86 = (1076,0), 
SA=O H(A + 8A), =ó ! 86,8 = (I+ 10 9,1), 2368] AEX 
(2.7.10) 4 


dy clo sll 
“8 = ? E 
io = ode Bw CAT 


5j 35, (2.7.10) 89 ESE ST 8E E 45,355 PT ox 2 Z AE an deb. 
3 —2r m. RK Ob —(10,10 52,84 —0 H(A--8A)y =b Hb, KI 
不 等 式 (2.7.10) 为 


(A) = 10 510 = 1. 


ü 
i «2x 10-5105, 


所 以 ,看 在 扰动 使 (2.7.10) 的 界 基 本 上 可 以 达到 . 
2.7.5 一 些 关 于 分 是 的 精确 界 


我 们 以 证 明 对 于 分 量 拢 动 算 存在 更 精细 的 扰动 理论 来 结束 本 
节 . 这 需要 利用 绝对 值 概念 . 
定理 2.7.3 ik 
Ar = b, A € PPO OS b € «un, 
(A -8A)y = b - 8b, BAGS”? GbE ", 
2A 18A ce HA | felabl sce lb] do e (A) r«1, NI CA + 
OA 3E ap ot E. 
ly — z || 


= 2e -li 
sgopa Al lo. 
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证 了 明 HT || SA f| wee A HW l 85 || sse | ^ | Gl 
理 2.7.1 的 条 件 在 范 数 为 co 范 数 时 是 满足 的 .于 是 和 +84 非 奇 
FEA 


利用 (2.7.11) 我 们 发 现 
Iy-xlzlA^!4l8bl- lA"! Ll8ATI yl 
«elA"llale«elA"!||lAIIyl 
«elA'llAlC xl iyl). 


两 边 取 范 数 , 则 有 
I»-zlasellA"lAllo(lixlo + H lie) 
不 等 式 两 边 同 除 以 | x || = 即 得 到 定理 . D 


REE | AHIA] TL OAR Skeel 条 件数 . 它 对 上 儿 个 重要 
的 线性 方程 组 计算 的 分 析 非 常 有 用 . 见 人 3.5， 

最 后 ,我 们 介绍 Oettli 和 Prager(1964) 的 结果 , 它 指明 什么 情 
Jë F nxn 方程 组 六 x = 6 I —" Xr foL SEE € xU WAS 
扰动 方程 组 . 特别 地 , ECR OAM PCR" 给 定 且 非 负 . 我 们 寻找 
SAC RX? HEN" Mw >0 HR 

(A+8A)% — 6+0b, [SAIN w/E, dbl Swf. 

(2.7.12) 

注意 ,适当 地 选取 已 和 上 了 扰动 的 方程 组 可 得 某 特定 量 . 例 如 , 当 五 = 
lA [RF 15 | 以 及 zw 很 小 时 ,二 满足 一 个 附近 的 方程 组 (在 向 量 
分 量 的 意义 下 ).Oettli 和 Pragert1964) 证 明了 ,对 给 定 A, D,E 
和 了 ,在 (2.7.12) 中 最 小 可 能 的 沁 是 

[Az — bi 
pa n (E [|+ n. 
如 果 A P0. ES — RT ER wmn °° , EH 
满足 给 定 的 扰动 结构 之 任何 方程 组 ， 
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AL = 
Uu man 


习 B 


2.7.1 HEAR; WE | Ei] LU CADET. 

2.7.2 VERRIER ER eC AB el Ale BDA ER + 有 
clad) ^ ax (A). 

2.7.3 Hii K€ Cn n] 2 TCR ES E Vs k: 


a= [^ *]ac-[*] 


LO LI 


的 2 范 数 条 件数 之 间 的 关系 . 
本 节 注 释 与 参考 文献 
条 件数 在 下 机 文章 中 有 有 各 彻 的 讨论 : 
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tational Mathematics ,W.Gautschi(ed. ), Volume 48 of Proceedings of. Sym posta in Ap- 
pied Mathematics, American Mathematical Socierv, Providence, Rhode Island 

S. Chandrasekaren and I. C. F, ipeni 1995). “On the Sensitivity of Solution Components in 
Linear Systems of Equations,” SIAM J. Matriz Anal. Appi. 16 ,93—112. 
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第 三 章 ”一般 线 性 方程 组 


83.1 三 角 方 程 组 

§3.2 LU 分 解 

§3.3 高 斯 消去 法 的 侍 入 误差 分 析 
$3.4 选 主 元 法 

§3.5 改进 与 精度 估计 


求解 线性 方程 组 和 Ax = b 是 科学 计算 的 中 心 问题 .本 章 我 们 集 
中 讨论 高 斯 消去 法 ,所 选择 的 算法 处 理 的 4 是 方 的 、 满 的 以 及 无 
结构 的 . 如 果 A 不 是 此 类 矩阵 ,相关 的 算法 可 名 于 第 四 .五 和 十 
章 .4r= 所 的 一 些 并 行 求 解 广 法 在 第 六 章 中 讨论 . 

在 $3.1 我们 通过 讨论 求解 三 角 方 程 组 之 容易 来 导出 高 斯 消 
去 法 .然后 $3.2 给 出 通过 高 斯 变换 将 一 般 方 程 组 转化 为 三 角 方 
程 组 ,为 此 引进 了 答 阵 分 解 的 语言 .不 幸 的 是 ,得 到 的 方法 对 一 类 
非 平 几 的 问题 表现 很 差 . $3.3 的 误差 分 析 指 出 了 困难 有 所 在 并 引 
出 了 S$3.4, 在 那里 给 出 了 选 主 元 的 概念 .在 最 后 一 他 我 们 详 述 了 
关于 加 权 , 适 代 政 进 以 及 条 件数 估计 的 : 些 重要 的 冬 际 问题 ， 


预备 知识 ; 

第 -… 章 ,$2.1 一 各 2.5, 和 和 $2.7 是 假定 读者 己 知 的 . 其 他 的 
参考 文献 包括 Forsythe 和 Moler (1967) , Sfewart ( 1973) , Hager 
(1983), Watkins ( 1991), Cialet (1992), Datta ( 1995), Higham 
(1996), Trefethan 和 Bau(1996) L A Demmel( 1996). 对 本 章 很 重 
要 的 一 些 MATLAB AHA lu, cond. reond WAAR E SET X. 
LAPACK 的 相关 程序 为 


QF > 


TRSY o] I B A. =, 
_ TRSM | 解 AX = B 
_ TROON 条 件数 估计 
— TRRFS | 解 AX=B,ATX—B,AMRER 
__ TRTRS 解 AX—-B,A'X-B 
__ TRTRI AT! 


LAPACK: — ARES TEA FH 


_ GESV 解 AX = B 

__ GECON | 通过 PA = LU dil Ef 

一 GERFS | 改进 AX-B,A'X- B, AUX = B 之 解 , 结 出 误差 界 
— GESVX | 和 解 AX=B,A1TX=B,ANX=B, 给 出 条 件数 估计 
_GETRF | PA — LU 

— GEIRS | MH PA = LU ft AX-B,A'X=B.A"X=B 
_.GETRi |a! 


__GEEQU | 平衡 方程 


93.1 三 第 方程 组 


经 典 的 线 作 方 程 组 分 解 方程 涉及 到 将 给 定 的 方 的 线性 方程 组 
转化 为 具有 同样 解 的 二 角 方 程 组 .本 节 就 是 关于 三 角 方 程 组 之 求 
解 


3.1.1 向 前 消去 


Aun F 2x2 下 二 角 方程 组 
. OR. 


www rr — — R oF" pF rr 
D ono w 


fy, Ü [x bi 

H M ML pi 
DR. 144225750 , AR A 3c aT AR AE: 

xy = bls 

vz = (b — (axi Mim. 
这 就 是 称 之 为 向 前 消去 的 算法 之 2x2 形式. 通过 解 Lx = b 的 第 i 
个 方程 求 出 x; 即 可 得 到 此 算法 的 一 般 形 式 


= (2; 一 3 ens. 

如 果 对 i=lin 计算 上 式 , 则 z 的 所 有 分 量 都 可 求 得 注意 到 在 第 
i RAWA LG, Li- -DS r0: DAAR. ATF obiit 
Br, HAARP AE. WaT BSA. 

算法 3.1,1( 向 前 消去 法 : 行 形式 ) ALEV "ATE ,O 
Ce? W] db Xi] Ar — HRR b MELARIKAN. 

b(1) = 6(4)/LG,1) 

for i = 2:7 

b(i) = (604) — L(i,l: i - DC: i - 1))7L(i,i) 

end 
此 算法 需要 nn? 个 flop ,注意 到 工 BRAHAM i 98 Hi 3k; B5 ED Z 
满足 

(L+F)£ = b,| F| < n | L |+ O(u). (3.1.1) 

HIEST W Higham(1996) .这 说 明 计算 的 解 精确 满足 一 个 小 扰动 
的 方程 , mA, eases F 的 每 一 个 元 素 都 相对 于 所 对 应 的 元 素 
来 说 是 小 的 . 


3.1.2 向 后 消去 


解 上 三 角 方 程 组 Ux = b 的 类 似 算法 叫 向 后 消去 法 . r, Hit 
算 公式 为 


Ti = (b; 7 M isst, ) uis 
a= itl 


| OQ >» 


a T — ———————umm Ei ne ae 


URE b; BY CA, PE um. 
算法 3.1.2( 向 后 消去 法 : 行 形 式 ) 如 果 UUELE 
MOC" WHE Ux — 6 Z28938 2 b R BA aH. 
b(n) = b(n)/U (n.n) 
for ;: —»-—-1:- 1:1 
bli = (b(i) - U(i,z-1: nob(i + 1: n))/U(ri,i 
end 
此 算法 需要 n^ 个 flop, U BTA, uj uERHTTERE UE Ir WR 
(Ui F)£ = b,|F|= na |U|+ Olu). (3.1.2) 


3.1.3 基于 列 的 形式 


欧 换 循环 顺序 可 得 到 以 上 算法 的 基于 列 的 形式 ;为 了 从 代数 
的 季度 理解 它 ,我 们 考 碟 向 前 消去 ,一 旦 x, 解 出 来 ,该 变量 可 从 
第 2 个 至 第 n 个 方程 中 去 掉 , 我 们 可 只 考虑 缩小 后 的 方程 组 
Ll2:n,2:n)r(2:n)= b:n) 一 (1)L(2:n,1), 然 后 , 我们 算 
H ro JEE M 3 PSS n PREP Ed r, KIA. TÆ, u 


dp XB 
1 0 0; H [6] 
l Oj |+, | = ?| 
7 9 al. L5 
则 我 们 有 ri=3 了 ,然后 我 们 处 理 2x2 方程 组 
5 0]1[22] 2 l i -1 
B MINE 31, |= [ MI 
VA F AURIS SE USE AS 
算法 3.1.3 (m WIAA: BR) ALE -""" E T = ñ 
bE." MRA Lr=b Z 83 £ b Tit L. BASHA 
for ;=l:n—-1 
b(j) - BGLG 3) 
bg tl:in)-b(jtln)—-b(j)L( *13:m,j) 


LA 
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EE eer ee pe a J eh er PSPSPS U. 


end 
b(n)-b(n)/L(n,n) 
同样 .可 以 得 到 基于 列 的 saxpy 算法 来 进行 向 后 消去 ， 
算法 3.1.4( 向 后 消去 : 行 形式 ) MUCH "是 上 三 角 ， 
p€ z" WHEE Ur = 户 之 解 履 盖 45. 假设 Aa HH. 
for;—-n:-1:2 
6(3) - 6(9))7UG; ,7) 
b(1:3-1)zb(t:j -DD- 560U(1:3 71,5) 
end 
b(Il) - b(1D/UCL,1) 
注意 到 算法 3.1.3 和 算法 3.1.4 中 的 主要 运算 是 saxpy 运 
算 . 这 些 saxpy 型 算法 的 误差 表现 与 点 积 型 算法 是 基本 相同 的 . 
三 角 方 程 组 的 计算 解 的 精度 常常 是 惊人 的 好 ., 见 Higham 
(1996). 


3.1.4 ZAMMA 


ORR EF LX =~ p Z x€ ux Ap Le eee F = 
和 BS yx SEE EC Nm DH BJ RA E a. q ETE HH EC [n] 25 
可 用 一 分 块 算法 求解 . 分 块 算法 在 n RB AMR PB 
经 常用 到 的 .这 一 点 在 以 下 几 节 中 讨论 各 种 各 样 的 分 块 分 解 算法 
中 是 重要 的 .我 们 指出 ,虽然 我 们 这 里 考虑 的 是 下 三 角 间 题 ,但 所 
有 我 们 提 到 的 都 可 用 于 上 三 角 情 形 . 

为 得 到 分 据 向 前 消去 法 ,我 们 把 方程 LX — B 分 划 如 下 : 


L 0 mee Ü Xıl B, 
La Ly © O0 ||Xi| |B 
Ly Lm cc Law N N 


假定 对 角 块 是 方 的 .与 算法 3.1.3 的 构造 类 似 , 我 们 从 Ly) X, = 
B, 和解 出 天 ,然后 第 2 至 第 NHIF X: 
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L 0 "77 Ü Xo B; 一 L. Xi 


La La o Ü Xi| |Bs—- LX, 
Ly Lm cU Lynd LAN By 一 Lx Xi 
依次 类 推 我 们 得 到 如 下 分 瑞 saxpy 回 前 消去 法 : 
for; = 1: N 


solve L,X, = B, 
for i—; -1:N 
B, = B, — LX, 
end 
end 
注意 到 在 ; 循环 中 只 有 一 个 分 块 saxpy 修正 : 
B,.i B;.; Lu. 


X 


2" 


By By Ly.,, 
WY qb EE ATS F Es KR EETHAE AE PR AR BH 52(3.1.3) 
中 之 分 划 必 须 有 足够 “大 "的 大. 我们 假定 正 是 这 种 情形 每 个 X; 
至 少 有 行 , 此 时 ,可 令 N = cell(nZr2, Xi, Xy € RIA 
Xy E g^ (NC Dr Xa 


3.1.5 3 级 之 比例 


在 一 个 给 定 的 算法 采用 一 个 度量 乍 阵 乘法 的 量 是 便利 的 . 对 
此 ,我 们 把 flop 中 和 矩阵 乘法 所 占 比 倒 定 义 为 一 个 算法 的 3 级 比例 ， 
矩阵 乘法 的 flop 称 为 3 级 flop. 

在 假定 x = +N 时 考查 (3.1.4) 的 3 级 比例 (同样 的 结论 对 上 上 
述 非 均匀 分 块 也 成 立 ) 由 于 有 NN 个 rxr 向 前 消去 (计算 中 的 2 级 
的 部 分 ) ,而 所 有 的 flop 数 为 n^, Bic 3 级 比例 大 约 是 
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因而 ,对 很 天 的 六 几乎 所 有 的 fop 都 是 3 级 flop. 只 要 所 用 的 计 
算 机 在 处 理 长 度 至 少 为 + = n/N 的 分 块 saxpy 能 法 到 高 性 能 ,应 
该 尽 可 能 把 N 取得 大 . 


3.1.6 求解 非 方 的 三 角 方 程 组 


求解 非 方 mox à 三 和解 方 程 组 问题 值得 一 些 讨论 .首先 考 虚 当 

mn 的 下 三 角 方 程 组 HI 
La; Lb; La, € inn. bx C x", 

假定 Ly # F = f B.dE 3 5. RR RAAT Lyx 
6, WARE 工 (Li b i) = box 就 是 方程 组 之 解 . BM SJ; 
程 组 无 解 .在 此 情形 下 ,或 许 最 小 二 乘 解 是 合适 的 . 见 第 五 章 . 

现在 考虑 在 列 数 n AFT Atm 时 的 下 三 角 方程 组 Fr = 5. 
此 情形 利用 向 前 消去 法 求解 L(1l:m,l:m)xr(1:m)- b Ti} 
xr(l:mMB zm +1:#)5E fE Ër A. x $5.7 关于 变量 个 数 大 于 方 
程 个 数 的 更 多 的 讨论 . . 

人 处 理 非 方 的 上 三 角 方程 组 是 类 似 的 ,详细 的 讨论 留 给 读者 . 


3.1.7 单位 三 角 方 程 组 


单位 三 角 和 矩阵 是 措 对 角 线 元 素 合 为 的 三 角 和 矩阵. 下 面 要 讨 
论 的 许多 三 角 和 矩阵 计算 都 有 此 附加 性 质 .很 明显 , 它 对 以 上 的 算法 
不 带 来 任何 困难 . 
3.1.8 三 角 和 矩阵 的 代数 

为 以 后 参考 ,我 们 列 出 三 角 乱 阵 和 单位 三 角 托 阵 之 乘积 以 及 
赣 的 一 些 性 质 . 

* ECT) E 6 BESS iE X ECT) AM. 

“AP ECTORÉRIdUUELETOLAM. 

“BEC F)Z ñ z é RB EL( PEAR. 


LS el 
iat el 


=。 两 个 划 性 上 (下 ) 三 角 阵 之 积 症 单位 上 { 下) 三 角 阵 . 
2j 题 


3.1.1 纳 出 一 个 算法 计算 非 零 向 量 cee" 使 得 Uz =0, 其 中 UE 
"E L f u, =Ü, ur" u, 1 5-1 0. 

3.1.2 ÉWAH A p REZ BABS REDE E ORI F. 

3.1.3 改写 算法 3 1.4 E URRY TET K EE n(n + 1)/2 的 数 
组 u. vec P, 

3.1.4 写 出 (3.1.4) 的 详细 形式 .不 假定 N 整除 a. 

3.1.5 证 明 3.1.8 节 中 列 硬 的 三 角 泗 之 性 质 . 

3.1.6 E S,TCE"""RE-ÍSH(ST-ADa-bjÉdES RE AX.5 
出 一 个 O(n?) HHS x 之 算法 .注意 ST — AE B RRA BOC) 


flop. 提示 : 
S, = M MEE 7 °]. - HI 
0 Se D Te b. 


AmSs,-S(k-1l:n,k—-1:n), T, = T(&—1:n,k -1:n), 5, = 
b(h —1:n).c. c, BC. WER: OR x. 满足 

(ST, — ADx, = bs 
VAR w = Tu, WI 

r B — so x, — utu, 
R(S, T, -AD =b, Z ERS 2. Mow. = T. r. 都 需要 O(n — Ë) 
个 flop. 
+ 3.1.7 FR, RER "SHE E = MR. At OCp 7) 
算法 求解 方程 组 (Ri… Rp — Ala = b Bog BR BA ot A HE HET 
上 一 向 题 的 答案 . 


BEES BS E 


= ff h BARAK n Hr n] W 
N. J. Higham{ 1989). "The Accuracy af Solutions of Triangular Systems”, SIAM J. Nu- 
mer . Anal. 26,1252 — 1265. 
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§3.2 LU 分 解 


正如 我 们 刚才 所 见 ,三 角 方 程 组 很 “容易 求解 .高 斯 消去 法 的 
思想 是 将 一 给 定 方 程 组 Ax = 6 转化 为 等 价 的 三 角 方程 组 .该 转化 
可 通过 方程 的 适当 线性 组 合 来 实现 .例如 ,在 方程 组 

32x, + $x7 = 9, 

62, + 7a, = 4 
中 ,我 们 将 第 一 个 方程 乘 以 2, 并 且 在 第 2 个 方程 中 减 去 它 则 得 到 

32 + 5a. = 9, 
— 3x5 =- 14, 

这 就 是 n 二 2 的 高 斯 消去 法 .本 节 的 目的 就 是 对 这 一 核心 算法 给 
出 完整 的 叙述 且 用 矩阵 分 解 的 语言 来 刻画 它 . 这 意味 着 此 算法 求 
出 一 个 单位 下 三 角 和 矩阵 工 和 一 个 上 三 角 和 矩阵 UU H1$A-LU,BI 


ç nlla allo -34 


然后 ,原始 问题 Ax — b 之 解 避 通 过 两 个 三 角 求 解 过 程 来 得 到 : 
Ly = b,Uz = yoAx = LUx = Ly = b. 

LU 分 解 是 高 斯 消去 法 的 “高 级 RAE E AMERRE 

阵 分 解 的 “语言 来 表达 是 很 值得 的 . 它 有 助 于 推广 到 一 般 情形 而 

且 能 指 露 算法 间 的 关系 ,这 些 算法 从 标量 层次 上 看 可 能 是 非常 不 

同 的 . 

3.2.1 高 斯 变换 


为 得 到 高 斯 消去 法 的 分 解 描述 ,我 们 需要 消 为 堆 的 矩阵 描述 . 
在 n-2 的 水 平 上 ,如 果 r40 B += xox, M 


is addo lol 
a AH dE cC" Ar, +0, OR 
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ee RUPEE REPERI. T. 3H. 7 


+ _. _ 
r = COs Os tee, a TL) T, — ost 一 Ë +] : H, 


且 我 们 定义 
M, = I- cel, (3.2.1) 
则 
1 0 Ü 0 T] Ti 
0 ] 0 + Ü X4 X 
Mix = , = . 
iud 0 -ri 1 0 | | 0 
0 -7, Ü c diis, 0 1 


型 如 M= I- rE 8°" Rog TET C ED 的 前 个 分 量 都 为 零 时 
一 般 称 为 高 斯 变换 . 这 样 的 矩阵 是 单位 下 三 角 的 .r(R+i:2za) 的 元 
素 称 为 乘 子 ,向 量 r 称 为 高 斯 向 量 . 


3.2.2 作用 高 斯 变换 


HE Te RAS aF i a COR AM, = I — ze, 是 高 
斯 变换 , DU] 
M,C = (I - elC = € - c(elCc) 
= C- Œk, :). 
E— T EE. eR) =O, HU CCR F1:n,:) E IRE 
m, E C= M,C 依 行 计算 如 下 : 
for: — Ek -1: x 
Cli, +) = CG, i) rC(5, :) 
end 
此 计算 需要 2(n -1)r 个 flop. 
$i 3.2.1 
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i. eS —I — FS u r[rrrrr 


=(F-re)JC=/1 1 1 


3.2.3 高 斯 变换 的 舍 入 误差 性 质 
^r rS r 的 计算 值 , 则 容易 证 明 


T— re, lelsxzulel. 
R HATA F 6 FE HL (CI 一 ze1)C) 是 计算 秆 , 则 
FIC - eC) = (I — ce DC E, 
其 中 
JE|<3u( Cl+ [rl i Cle, 231) + Olu?). 
很 明显 ,如 果 r 有 大 分 量 , 则 修正 的 误 养 与 |C | 相 比 可 能 很 天, 基 
于 此 ,进行 高 斯 变换 时 要 小 心 ,这 一 点 将 在 $3.4 讨论. 
3.2.4 上 三 角 化 


设 AEk**7 .通常 可 找到 高 斯 变换 M1,…, M,_| 使 得 
M, pU Mi, A ZUR EB SEHE RATE 4 a =3 


的 例子 .假设 
1 4 7 
6 1 
AR 
1 0 O 
-3 0 1 
则 
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同样 地 ， 


1 0 0 1 4 T 
M,= |0 1 O|>M.(M,A)=|0 -3 -6. 


-2 1 0 0 L 
Mac b eA HESS BE 
。 我 们 得 到 的 拭 阵 AT UU — M, UM A EB 1 列 至 第 上 一 


1 列 是 上 三 角 的 
+ M, FIT RET AU U(k+1in k) BAM JR 4108 E 
ak Dx. 
注意 到 一 1 步 之 后 就 可 完成 上 三 角 化 .所 以 我 们 有 
k=1 
while( A (k, k) Z 0)&(Ë xz x — 1) 
z(k + iin) = ACh 1: n)ZA(Ë,.E) (3.2.2) 


ACk+1in,:) = ACER c1: n. :) — z(Ë +]: DAC, :) 
Ë = Ë +] 
end 
必须 检查 ACR ,以 避免 除 堆 .这些 量 (A(k,&)) 称 为 主 元 ,它们 
的 相对 大 小 是 至 关 重 要 的 . 


3.2.5 LU 分 解 


HERGA, 808:(3.2.2)005 k = n 时 终止 则 它 息 出 高 斯 变换 
MI. M. E M,..°M,A=U BEL-A. 容易 验算 如 果 
M=- rP el WERA M2!= 了 + rÜ) T p 

A= LU, (3.2.3) 
其 中 
L = Mi--Ml,. (3.2.4) 
由 于 Mi 是 单位 下 三 角 , 故 很 明显 工 ER ju F = f E E. 分解 
(3.2.3958 A 的 LU 分解. 
正如 (3.2.3) 中 需要 检查 零 主 元 所 示 ,LU 分解 可 能 不 存在 . 
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例如 ,不 可 能 找到 i 和 uw; 使 得 


| 2 i ñ 0 0 s H1) s 

2 4 T7T|:- iig; 1 Ü | Ü nu» um! 

i3 5 3 m fx, | Ü Ü us 

A L8 dc iL se RAS, AM uppl, eyo = 2, 8g 72. u2 
=0 和 f5,= 3.182, SERAH, 2) CAN RNA -AF 
请 方程 $= [qug + iyun b. 

正如 我 们 将 证 明 ,(3.2.2} 中 出 现 零 主 元 与 奇异 主子 矩阵 是 等 
价 的 . 

定理 3.2.1 wR b — 1:0 行列 式 det( A(1:F,1:F)20, 
则 各 有 LU 分 解 .如 果 A 非 奇 异 且 存在 LU 分 解 , 则 LU 分 解 是 
惟一 的 县 det(A) = wi an: 

WEAR 假定 43.2.2) 的 前 上 -1 工 步 已 完成 .在 第 步 开 始 前 各 
已 被 Mi .MA4 = AG DEA eB) oh Uwe 个 主 元 ,由 
-于 高 斯 变换 是 单位 下 三 角 , 愉 该 等 式 的 主 大 X 部 分 可 看 出 
det(A (E &,1:£)) 2 a(f a6 P. Br n ACL E, 1: ED E 
FS k PETES. 

至 于 惟一 性 ,如果 A= L IU, HA = L;U; 是 非 奇 异 阵 A 的 
两 个 LU Sr. MM L. L = ULU] .H T L;!L, 是 单位 下 三 角 而 
UsUi! 是 上 三 角 , 故 知 这 两 个 矩阵 都 必须 是 单位 矩阵 ,因此 工 | = 
L,,U, = U. 

最 后 ,如果 A= LU, ill det(A) = det( LU) = det( L)det( U) = 
det(U) = n ir" U tans D 


3.2.6 一 些 实际 细节 


从 实际 应 用 的 角度 ,对 (3.2.2) 能 有 几 种 玻 进 ,首先 ,由 于 从 第 
(595258 & - 1 列 已 化 为 上 三 角 , 高 斯 变换 只 需 作 用 于 从 第 上 列 至 
Bn 列 . 当然 ,我 们 不 需 将 高 斯 变换 作用 于 A(:,), 因 为 其 结果 
是 知道 的 . 另 一 个 值得 观察 到 的 是 对 应 于 M, HRW 
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RASH ME, AACR +1: 2,2). 利用 这 些 改动 ,我 们 得 到 
(3.2.2) 的 如 下 形式 : 
算法 3.2.1( 外 积 高 斯 消去 ) GR AC ETT E ACDG E TR) 
xE = lin 一 1 非 奇 蜡 . 本 算法 计算 分 解 M, aM A= U, 其 中 
ULIZA, M; ZAAMER.UBAT AH LAB HRD. w RT 
M, $05& 3-8 FE T ACR C1: m, k), FF ACE t1: n, £5) - ME +1: 
n,k). 
for £ - 1:n—1 
tows= t lin 
A (rows, k) = A(rows,#)/ACk,B) 
A (rows, rows) = A (rows, rows) — A (rows, E). A (k, 
Tows)} 


end 


此 算法 需要 Snaflop, 是 高 斯 消去 法 的 若干 种 形式 之 一 . 注意 
到 在 循环 的 每 一 步 中 执行 的 是 一 外 积 运算 . 


3.2.7 工 存 于 何 处 ? 


算法 3.2.1 以 乘 子 的 方式 天 示 工 .确切 地 说 , 设 r 居 是 对 应 于 
M, 的 乘 子 , 当 算法 终止 时 Ak t+ hin, kb) - ct) RS PAT 
EAS XEPR"R I UR L-M, L.M Ol LOR M. 1in.k)- c. 
这 从 仔细 考查 工 的 乘积 定义 就 可 得 到 .事实 上 
L= (I 2 D +r” Del) 


k=1 
HT ACA+ lin AMAR bl E CORR k TMB, Ak YD 
ACi,k) BI L,XE-- 00 i k BERGE. 


3.2.8 解 线 性 方程 组 


—H A BASE 3.2.1 进行 了 分 解 , 则 工 和 UU 存 于 数组 A. 
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然后 ,我们 可 用 $3.1 PARKA eA Ly =) Fl Ux = y, 8 
到 Ax = b Zt. 
3.2.2 如果 算法 3.2.1 用 于 


14 7 1 0 Ü 
ics 2 1 0 
6 10 
Jh) 55 xs, s SL ++ 
1 4 7? 
epe 
2 ] 


Ww% b= (1,1,1)7, 8] y—(1, - 12001 € Ly= 5 之 解 .再 解 Ux = 
yitr=(-4, io]. 
3.2.9 其 他 形式 


与 矩阵 乘法 一 样 ,高 斯 消去 法 也 是 ~- 个 三 重 求 和 ,可 以 有 不 间 
顺序 .算法 3.2.1 中 如 果 外 积 计算 是 逐 行 计算 , 则 它 对 应 于 高 斯 消 
去 法 的 hij 形式 : 

for £ -1:z-1 

ACkt+ tin. R)=ACR+1in, E)/A(R,k) 
for 1 = £ t 1:n 
for j -& +]: n 
À(2,73— A(i,) - AG, EJACR ,)) 
end 


end 
end 
其 他 的 五 种 形式 为 By, ih), jh jik, W jki j W SF Hü Jr K B) JS = 
种 之 特点 是 一 系列 的 gaxpy 和 向 前 消去 ,在 此 方式 下 ,高 斯 变换 不 
像 外 积 形式 那样 马上 镍 用 于 4 .事实 土 ,这 些 变 换 延 后 了 .在 第 j 
步 之 前 ,初始 的 A(:,j) 根 本 就 没有 动 .在 算法 第 j ZB LAC 
， TH ` 


M; -M,AC 3 HN s By 个 高 斯 变换 也 求 出 来 了 . 

更 精确 地 说 , 设 ijn — 1. EE L(:,1: j DA U(1:; —1, 
Li- DB J. IK S LAUKA; -1 列 已 求 出 来 了 .为 得 到 
L 种 的 第 ; 列 , 我 们 令 方程 A= LU 的 第 7 列 相 等 :A(:,i)= 
LU(:,7). 利 用 此 ,我 们 有 

AQ: 7-1,f) = L(1:;—-1,1:; - DU(I1:5- 1,5) 
LAK 

AG inj) = SLY :FE 
第 一 个 方程 是 下 三 角 方 程 组 ,可 从 它 解 出 U(1:; 一 1,j). 完 成 此 


之 后 ,可 改写 第 二 个 方程 来 计算 UG, MLG in, j) RR 
上 ,我 们 令 


oG: n)= AG e DLG: nsk) Uk,D) 


= Alji nj -LOinl:ii-1)U(l:;)—1,7), 
WEG +t n, psvGtln)/oG) ,以 及 UG) = 0G). TÈ 
计算 L(+1:n,7) 是 一 个 gaxpy, 我 们 有 
L=1;U=0 
fer j=1:n 
if;=1 
viinJ=ACin,j) 
else 
从 L:j-1,1::j-Dz-A(01:j;-1,7)). 解 出 = 
令 U(157-1,)-7z, (3.2.5) 
v(j:n)-A(j:n,j)- Lin, lij- l)er 
end 
if j<n 
L(j*1:n,j)- v(5; t 10:2)/vo(;) 
end 
U(j,j) 7 (J) 
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ee rr sma s wr a= ivl 


end 
高 斯 消去 法 的 此 形式 主要 是 向 前 消去 和 gaxpy, 它 与 算法 3.2.1 


EREE n? 个 flop. 
3.2.10 分 块 LU 


高 斯 消去 法 可 组 织 得 让 和 矩阵 乘法 是 主要 的 运算 .这 一 分 块 形 
式 之 导 人 的 关键 是 把 AER"** 分 划 为 如 下 形式 
_ [^n nai 
An Anz 
r 天 一 天 
其 中 > 是 分 块 参数 . 假设 我 们 已 算 去 LU 分解 A= Lu Un, MI 
解 多 右 端 项 三 角 方程 组 La Un AgM La Un = 4 分 别 得 到 
Un” La. WA 
Ay An Li 0 I 0] Uu Un 
"n A dl. I., le MI 0 p] 
其 中 A = Ay» —- Lo, Un. ÆR A Ay A 的 Schur fh [ÉE. 2E 
意 到 ,如 果 A =LyUyk A 之 LU 分 解 , 则 
" ^el Pi 0 in Md 
Án Ayn La L5--0 Uy 
就 是 上 的 LU 分 解 .于 是 当 Lu Lor, 和 和 本 2 计算 出 之 后 ,我 们 
继续 对 (2,2) 块 A 进行 3 级 修正 . 
算法 3.2.2( 0 ROAR LU). J AC R""* B det(A(1:2,1:2) 
*|fk—-l:n-13E€.ikr8XElxrza. EER 修正 计算 
A=LU. FRERE, AG DS ij HX LO, AE S, ui 
HRU ALB. 
A=1 ' 
while A = x 
p — mní(n,A* r — 1) 
用 算法 3.2.1 F ACA pA u) X LU tE] T: L RU 
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& LZ = ACA: poe tlin) BAZ BE Z ASB 
ACAi pew t lin). 

8t WD = A(g t iin, At pn) Ba W R. W Á d 
A(u-*41:n,A: u). 

ACu rl:n,ucl:n) = A(uti:n,utl:n)- WZ 

À =< # +] 
end 
此 算法 需要 与 个 flop. 

与 3.1.5 节 的 讨论 类 似 FEMME AE AY 3 % ICE BUE > 
足够 大 . 所 用 的 计算 机 能 以 “3 32 RE A E E 9 HGR EE 
A(utli:in,utl:in)—cA(utlin,ut1:2)— WZ. 非 3 级 的 浮 
点 运算 仅仅 是 xX, 的 LU 4g A(A:g,A:p) = LU. TEE T 
算 中 .一 共有 N 个 这 样 的 分 解 . 故 知 3 级 比例 为 

,- Nt GPA), 1 
23/3 N° 
这 样 , 当 N 很 大 时 几乎 上 所 有 的 运算 都 是 矩阵 相 乘 ,正如 我 们 已 提 
到 .这 样 就 保证 了 在 许多 计算 环境 下 算法 都 是 高 性 能 的 . 


3.2.11 KAGE LU 分 解 
对 长 方 矩阵 A € xm" "4 np PEAT LU 分解. m > n 时 的 例子 可 


pa 


12 3 1 o1. 2 3 
p 5 ol Ly ile -3 -el 
说 明了 m < n AH. SU A:R, IRN E — li minfa, mm) 
非 奇 蜡 , 则 A CRT" n 8k ETTE LU 分 解 . 
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—w le — aS Ñ ur oh reeled lalla aT 
ein = 


Em X FARA LU ARAA RI FT I AREE. 
例如 ,对 m 2 n ,算法 33.2.1 可 修改 为 
for k — 1:75 
rows k + lim 
A(rows,b) = A(rows, E)/ZA(RE, Rh) 
if E < n 
cols= k + 1: x 
A (rows, cols) = À Crows, cals) 
— Alrows,2) ACB cols) 
end 
end 


此 算法 需要 mn? — nŠ /3 个 flop. 
3.2.12 一 个 失败 的 例子 


正如 我 们 所 知 , 高 斯 消去 法 在 前 n — 1 主子 矩阵 奇异 时 不 能 
进行 .这 种 情况 对 有 些 非常 简单 的 矩阵 发 生 , 如 
oP 
(1 ol 
点 的 2 范 数 条 件 非常 好 , 俱 它 的 主子 矩阵 奇异 , 故 不 存在 LU 分 
解 . 
很 明显 ,要 使 高 斯 消去 法 有 效 地 用 于 求解 一 般 线 性 方程 组 ,我 
们 就 要 对 它 进 行 改进 .下 一 节 给 出 揭 误 善 分 析 指 明 哪 些 改 进 是 必 
aa B. 
习 题 
3.2.1 RACQOR "HURRAH RE e HERD RRM Be A= 
ACD UL & SED ETER dy e. EAA bhi e RB ACE) LU 
分 解 A(e)— Le} UCI A LCe) A Ule MBAR MH. 
3.2.2 HACK "m rl 
a = [t n 
Ay Agd 
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其 中 Ay de rx r E£. BE ALTERS. BEB S— An- AJAn Anet AF 
Aq BY Schur 补 降 .证 明 : 如 果 A A LU 分 解 , 则 算法 3.2.1 执行 到 第 > 步 之 
EiyAGFTEn,rt Y nOMRET S. ATAT.. DH e TE ZU BET 8I S? 

3.2.3 HACE" A LU SHE. ERAT Z 3 nx (n + DER 
[A & ]A) LU ARATATA ORB Ax b. 

3.2.4 报 述 一 个 变形 的 高 斯 消去 法 . 它 按 n: — 1:2 的 顺序 将 的 列 消 
去 ,从 而 得 到 分 解 4 = UL, HF Uis E= EBE. L ETAR. 

3.2.5 S" "中 形 如 NCy,8) 二 了 一 yel(yER") 的 矩阵 称 为 高 斯 -车 尔 
“ORM (ase Noh ! 存 在 ,给 出 其 公式 . (DE z€ 3", 什么 条 件 下 
存在 y 使 得 NIvy,sJz=e7fc) 给 出 一 个 应 用 高 斯 - 若 尔 当 变换 的 将 4 用 
A UNES TEE LA 满足 件 么 条件 下 方法 能 保证 成 功 ? 

3.2.6 和 将 (3.2.3) 推 广 到 A 的 行 数 太 于 到 数 的 情形 . 

3.2.7 说 明 (3.2.5) 中 站 可 被 L AU 禾 盖 .重新 组 织 二 重 循环 使 得 对 
数据 的 读 取 是 整体 癌 . 

3.2.8 给 吉 高 斯 消去 法 的 一 种 形式 ,其 三 重 循环 之 最 肉 层 是 点 职 计 算 . 


本 节 注 释 与 参考 文献 
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之 详细 讨论 可 见 Fox(1964), 也 可 参阅 ; 
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Jj. Dongarra, F. G. Gustavson, and Karp( 1984). “Implementing Linear Algebra Algorithms 
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* 116 ` 


yey ——————" PPP (— BÉ + 
pire er s urs "rs nr n Po aa 


J. M. Ortega( 1988). "The iik Forms of Factorization Methods I /ector Computers, " Pur- 
allel Computers 7 ,135—147. 

D. H. Baile, K Lee, and H. D. Simon (1991). " Using Strussen s Algorithm to Accelerate 
the Solution of Linear Systems," J. Supercomputing 4,557—371. 

]. W. Demmel, N. J. Higham, and R. S. Schreiber( 1995). “Stability of Block LU Factoriza- 
tion, " Numer. Lin. Alg. with Applic- 2 ,173—190. 


83.3 高 斯 消去 法 的 省 入 误差 分 析 


我 们 现在 讨论 上 两 季 的 算法 用 于 求解 线性 方程 组 Ax = b HE 
舍 入 误差 的 影响 . 关于 高 斯 消去 法 合 人 误差 的 更 详细 的 讨论 由 
Higham(1996) £4 H. 
在 开始 分 析 前 ,一 件 有 用 的 事 是 讨论 几乎 理想 的 情形 : 即 除了 
情 存 A Mo 之 外 整个 计算 过 程 都 没有 售 人 误差 .这 样 fl(b)= 
bte SP (A) - A + 五 非 奇异 时 ,我 们 假定 
(A + E) £ = (b +e), 
Els S&S ul Ale kelo Sull lle. (3.3.1) 
也 就 是 说 , 主 是 一 个 “附近 ”问题 的 精确 解 . 而 且 , 如 果 说 有 
pcs ASA, MWA AER 2.7.2 可 证 明 
| x êlo 
| æ das 
界 (3.3.1) 和 (3.3.2) 是 “最 好 "的 范 数 界 .任何 对 需要 储存 4 Mo 


的 线性 方程 组 求解 方法 的 一 般 性 o 范 数 误 差分 析 不 可 能 得 到 更 好 
的 界 . 因此, 如果 ARC MSL po (A) I, 


则 我 们 不 应 把 钨 算法 给 出 的 二 不 精确 ， 
3.3.1 LU 分解 的 误差 


我 们 看 高 斯 消去 法 的 误差 界 与 上 述 理 想 界 的 关系 .为 方便 起 
见 ,我 们 考虑 ce 范 数 且 讨论 算法 3,2.3, 即 外 积 形 式 . 我们 所 导出 
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s< dac. (A). (3.3.2) 


的 误差 界 也 适用 于 gaxpy 形式 的 算法 3.2.4. 
我 们 第 一 个 任务 是 量化 计算 三 角 分 解 时 的 会 人 误差 . 
定理 3.3.1 假定 和 是 一 个 nxXxXn EERE WRK 
3.2.3 中 不 出 现 零 主 元 情况 , 则 计算 出 来 的 三 角 引 阵 记 和 让 满足 
LU=A+H, (3.3.3) 
|HI<3(n - DeClAD- |E) + Ola). (3.3.4) 
证 明 对 ”进行 归纳 法 .定理 对 ma=1 显 然 成 立 . BEC 
(n -1)Xx | —- DE ARABIE RUNE RS. d 


A= |° ep 
Y Bin-l 
1 n-l 


则 算法 的 第 一 步 产 生字 = fl (v/a) MBA, = ACB — 2xwT) .于 是 我 们 
有 


š = Lu + f, FIS u {4} (3.3.5) 

和 
Ay = B- êw” F,|Fi<2u(|Bl+ |l iwlT) + O(u2). 
(3.3.6) 


WRL RU, 满足 : 
Li Ü, = À, + H, (3.3.7) 


| Hy) <3(n -—2)u(|A |+ | EAL LE D + OCu2). 
(3.3.8) 
于 是 
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0 0 


= À + H. 
af n+ rl 


-A«| 
JA(3.3.6)38 


JA S (1+ B+ |Z] | wl T) + O(n?), 
TRA (3.3.7) 8(3.3. 9281148 
| 于, + F|xi3(n — Dutl Bl il | wl? 


+ |E Oil) + OQ). 
由 于 | af| 志 x | wv| ,容易 验证 


lal. lwlT 
mist - Du [i^ il 
i Ü B Sa 
Ent joo 
lal Jj Lo lUi 
故 知 定理 成 立 ， 日 


我 们 指出 ,如 果 种 是 关头 天 阵 , 则 定理 把 (3.3.4) 中 的 于 用 
minin ,m1 替代 后 仍 成 立 . 


3.3.2” 非 精确 三 角 方程 组 的 求解 

接 下 来 我 们 考查 当 记 和 站 用 于 $3.1 中 三 角 方 程 组 求解 时 之 
伟人 误差 影响 . 

定理 3.3.2 EL foU X 1$ SEREA 通过 算法 3.2.3 或 算法 
3.2.4 所 求 得 的 LU 因子 .假设 83.1 中 的 方法 用 来 计算 工 y b 
和 站 rz = $ 之 解放 和 全. 则 (4 十 五 ) 计 一 已, 其 中 


\El<neGlAlt+5/£E)/ 01) + Ot(u?). (3.3.9) 
证 明 从 (3.1.1 和 43.1,2) 我 们 有 


(L + F) = b, IF|=< nul L |+ Olu?), 
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PE Ee Ep 


(GIS nul Ul + OCu?). 


e 
+ 
e 
NI 
I 
ve 


于 是 
(L+F)U+6)2 = (LÜ + FÜ + LG + FG) š = b. 
从 定理 3.3.1, 知 
LU=A+H, 
H|H|sx3(n-DuClAI| * I EI| CI) Olu?) MU, ER 
E = H + F Ü + LG FG 
则 有 (4 + E)£ = b. B. 
IE|< |H] + |F|IÜ|]+ IL] |G|+ Olu?) 
<3nu(|Al+ |E] |È) +2nu(l E| | Ü|) + Ola). 0 


要 是 | 计 | | O| kA A KAYE, (3.3.9) 55(3.3. 0 AOA 
ZEARK. (ALT n 无 关 紧 要 , 见 2.4.6 中 Wilkinson HX). 但 有 


ü f| L| | U | 很 大 ,因为 高 斯 消去 法 并 不 能 排除 小 主 元 的 可 能 


性 .如 果 碰 到 很 小 的 主 元 , 则 工 和 UU 可 能 有 很 大 的 数 . 

我 们 强调 一 下 , 小 主 元 并 不 一 定 是 由 于 坏 条 件 所 致 .如 A = 
ñ a [BER 所 以 甚至 对 于 好 条 件数 问题 高 斯 消去 法 可 能 给 出 人 
意 差 的 结果 .此 方法 是 不 稳定 的 . 

为 了 克服 算法 的 这 一 缺点 ,有 必要 在 消去 的 过 程 中 交换 行 和 
交换 列 , 使 得 计算 中 得 到 的 数 适当 的 有 界 .这 “思想 将 在 下 一 节 中 
讨论 ， 

例 3.3.1 设 有 =10,:=3. 浮 点 运算 用 于 求解 

kw oe =] u Ë p» 
1.00 2.00/i 25 3.00 


,用 高 斯 消去 法 ,我 们 有 
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^ L 0] < [0.00 1| 
i = |o i 971 | 


1000 1 0 — 1000 
YA 
FEM 0.001 1 0 0 
LU = | E | |= A + H. 
1 2 0 -2 
10 ° 0.001 
而 且 6| ” | 是 (3.3.4) 中 的 界 短 阵 , 它 虽然 不 是 一 个 对 
1073 1.0001 


| 吾 | 太 强 的 界 , 如 果 我 们 用 针 3,1 的 三 角 方 程 组 求解 方法 继续 解 
决 此 问题 ,而 且 假 定 精度 同上 , 则 可 得 到 计算 结果 元 二 (0,1)T, 这 
与 精确 解 工 = (1.002… ,0.998.…T X XE X. 

3 HB 


3.3.1 证 明 如 果 我 们 在 定理 3.3,1 中 把 a EPAIA BE $, 
则 (3.3.4) 将 把 系数 "3" 换 为 "4” 之 后 成 立 . 


3.3.2 i A JE n Xx n RAL FOU H Æ 3.2.1 产生 , (a) 计 算 
{LILO leE BBP flop? (5b) 证 明 g (|LI ID] )=< (+ Za) - 
|L| | D| + Ole’). 

3.3.3 B z=A ló. WEH: esc - Z(E), r= b- AZ (RH), 


Pap < Nel <a ted. 


1B ze e PE SO SURMA EMH. 
3.3.4 FPR Aes ,计算 


7 6 
a=, gl 
的 LU 分解 .对 于 这 个 例子 ,(3.3.3) 中 之 H 是 什么 ? 
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83.4 选 主 元 法 
上 一 节 的 分 析 表 明 ,我 们 应 措施 使 计算 的 开 和 万 油 有 太 
大 的 元 素 , 例子 
a = [00001 ']- | 1 0770-0001 1 lew 
7 1 14 110,000 1 0 - 9999] ` 


准确 地 纵 出 了 困难 的 根源 , 即 相对 很 小 的 主 元 . ARE BE E 
之 一 是 交换 行 . 在 我 们 的 例子 中 ,如 果 A 是 置换 阵 
p= R J 
1 0 
则 


PA = | I ‘=| 1 "In I |= tu. 
0.0001 1 0.0001 14:0 0.9999 
此 时 ,三角 因 子 之 元 素 都 是 可 接受 的 小 元 素 . 
Tes o HOT] RS HH Da iE A 的 置换 形式 使 其 有 一 -基本 稳定 
的 LU 分解. 这 有 几 种 做 法 ,每 一 种 对 应 于 不 同 的 选 主 元 技巧 .我 
们 主要 讨论 部 分 选 主 与 全 选 主 .将 讨论 这 些 技巧 的 有 效 实现 以 及 
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它们 的 性 质 . 首先 我 们 讨论 置换 矩阵 乘法 . 
3.4.1 置换 矩阵 


本 节 要 发 展 的 高 斯 消去 法 的 稳定 化 方法 处 及 到 如 交换 符 阵 的 
两 行 这 样 的 数据 流动 . 为 使 所 有 的 计算 都 用 矩阵 语言 "来 描述 ,有 
必 杰 熟悉 置换 答 阵 . 置换 矩阵 就 是 把 单位 矩阵 的 行 重 新 排列 ,和 例如 

0 0 1 

1000 
P = . 

0 0 1 0 

1 O 
-一 个 n Xn 置换 阵 永 远 不 必 显 式 储 存 , 用 一 个 n BRR PR 
示 - -个 一 般 置 换 阵 要 有 效 得 多 .一 种 方法 是 令 p(t) 是 P 的 第 
一 行 中 惟一 个 “1" 的 列 数 .于 是 ,p=[4,1,3,2j] 就 是 上 面 P 的 一 个 
很 好 的 编码 ,也 可 以 按 P 每 列 中 “1 的 位 置 米 编码 ,在 这 种 方式 下 
对 上 面 P 有 p=|[2,4,3,1]. 

i P E- BHE. A 是 一 矩阵 . 则 PA SA 的 行 的 置换 ,AP 
RA WRN BR. 置换 阵 是 正 交 的 ,所 以 ,如 果 P 是 置换 阵 , 则 
P !-PT 置换 阵 的 乘积 是 置换 阵 . 

本 节 我 们 特别 关注 交换 置换 阵 ,它们 是 将 单位 阵 中 两 行 互相 
对 换 而 得 到 的 .例如 


10 0 

Ar dé p E nj HS SE d RTT RS r Ph. xq T EEH 4x 4 例子 ,EA4 
对 AA 的 第 1 行 和 4 行 互 换 . 辐 样 地 , AE JE EA 的 第 1 列 和 第 4 
列 ， 

如 果 PE, E, Het E, BR 8 y BE 0938 ITS p) 
互 搞 , 峙 pi:z) 是 三 的 一 个 有 用 的 编码 .事实 上 ,对 工 所 六” LEX 
Pr Bit: 
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for b—1:n 
rkl plk)) 
end 
这 里 “+” 记号 表示 对 调 , 由 十 每 个 E, AB ot ER AL PI = E, E, , 这 
表示 式 可 用 来 将 Pr HI: 
for # — xn :—1: 1 
x(R)e**z(p(R)) 
end 
应 该 指出 的 是 在 置换 运算 中 没有 浮 点 运算 .但 是 ,置换 矩阵 算 子 常 
常 涉及 到 数据 的 非常 靓 移动 ,可 能 带 来 相当 的 计算 负担 . 


3.4.2 ” 列 选 主 :基本 思想 


我 们 证 明 在 LU 计算 中 用 交换 置换 可 保证 所 有 乘 子 之 绝对 值 
不 大 于 1 BE 


3 17 10 
A= |/2 4 -2|. 
6 18 -12 


为 了 使 第 一 个 高 斯 变换 乘 子 尽 可 能 小 ,我 们 用 行 互 换 使 =, 是 第 1 
别 最 大 的 元 素 .所 以 , 当 E 是 交换 置换 阵 

0 0 1 
0 1 Q 
1 0 Ü 


Aj 


(6 18 - 12 
má = |2 4 | 
3 17 10 
Hi 
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T = —— E' .— a wama 


1 0 O] 6 18 -12 
MI= |-1/ 1 中 aaa = n -2 2|. 
-12 0 1 8 l 


现在 为 使 M. PR 子 尽 可 能 小 ,我 们 需要 互 换 第 2 和 第 3 行 .所 
以 , 当 


1 00 1 0 0 
E,- |0 0 (mM, = o I! O! 
iQ 1 O 1⁄4 1 
时 ,有 
i6 18 -17 
M,E,M,EjA = D 8 16l. 
0 0 
此 例 刻 画 了 行 互 模 芍 基 本 思想 ,一 般 情况 下 ,我们 有 


for &—-1:n-1 
BE LRS E, RED R-1,1:5—1)— h ; LAT 
EAM Bk Me 有 
|z(#)|= Pekin) | > 
A=E,A 
确定 高 斯 变 搞 Mi ,使 得 M.A ORR P| o HA (RT: 
n) = Ü 
A = M,A 
end 
此 特别 的 对 行 交 换 的 技巧 称 为 列 选 主 元 .整个 过 程 完 成 后 ,得 到 
M, En- U ME A = U, Æ ERP. 
由 于 列 选 主 元 ,所 有 乘 子 的 绝对 值 都 不 超过 1. RR PT k 
=l:n-1 都 有 
| GEM; p M EA) | = max | (EM, y ME, A); |. 
所 以 , 列 选 主 元 能 有 效 地 保证 不 出 现任 意 大 的 乘 子 . 
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3.4.3 到 选 主 元 :细节 


现在 ,我 们 给 出 带 烈 选 主 元 的 高 斯 消去 法 整个 算法 细节 . 
算法 3.4.1( 带 列 选 主 元 的 高 斯 消去 法 }) RAC M| k 
算法 计算 高 斯 变换 M oM, 1 以 及 交 拉 置换 降 EB, | 使 
ff M,_ E,- M I E,A = UU 是 上 三 角 阵 .所 有 梯 于 的 绝对 值 都 
BRP LAR AR UUE, RARAS 1:2). AG - lin, 
kh) M, ktln k)TRECR=1in- 1). 整数 向 量 plin- 
1) 是 交换 置换 指标 . Bo. t b = llin - L.E, X ME k 行 和 
p Mm. 
for b—i:n-1i 
找到 p ETE RS pen B A(pk)|— Albin. k | a 
ACh kin) Alu, kin) 
p(k) = ps 
if ACk.2)+0 
rows=h+1in 
A(rows,k) = A(rows, E)/A(E E) 
A (rows, rows) = A (rows, rows) 
— ACrows, RJ ACR rows) 
end 
end 
注意 到 如 果 在 第 4 LAG n k) =0, 则 在 精确 运算 时 A 
的 前 列 是 线性 和 相关 的 .与 算法 3.2.1 不 同 的 是 ,在 这 里 没 有 轩 
AE AR fe Sñ Rb kat SES. 
从 学 点 运算 的 角度 看 , 列 选 主 所 增加 的 工作 量 并 不 大 ,因为 在 
选 主 时 进行 比较 的 次 数 为 O(n?). 而 整个 算法 的 浮 点 运算 次 数 为 


3 *?h* 
执行 算法 3.4.1 之 后 . 解 线性 方程 组 4z = 我 们 需要 
“计算 y=M,_ E, M Eb 


[ii Te | 
rE EE ce ed! 


* 求解 三 角 线性 方程 组 Ur = y. 
所 有 需要 的 信息 都 鳍 存 于 A 和 选 主 向 量 户 中 .事实 上 .计算 过 程 
for -1:25-1 
b(k)* b( plk)) 
b(ktiin)-b(kEctl:n)—b(R)A(CR F 1: n, E) 
end 
H b FM, E, "MED ux. 
例 3.4.1 如 果 算 法 3.4.1 用 于 


3 17 10 
i-e 4 -2, 
18 - 12: 
6 18 -12 
区 8 16 
12 -1⁄4 N 
3,3], 这 两 个 量 包 会 了 与 以 下 分 解 相 关 的 所 有 信息 : 
on 2 i| 1 0 I i 
lo 0 1||-12 1 ollo 1 0 
Ilio 1 -12 0 1 


1 0 Ü 
° 18 — 12! 


则 结束 时 有 
A= 
BAB p= 


[ 
l 
0 
0 


fie — = 


0 8 16°. 
0 0 6 
3.4.4 L 储存 于 何 处 ? 

带 选 主 元 的 高 斯 消去 法 计算 出 4 经 过 行 置换 后 的 LU 分 解 . 
此 证 明 仪 侈 是 下 标 比 较 . 

定理 3.4.1 设 用 带 列 选 主 的 高 斯 消去 法 (算法 3.4.1) 所 求 
得 的 上 三 角 阵 为 

M, ,E,.y" M E A = U. (3.4.1) 

* 127 : 


则 
PA = LU. 

RP P-E,- EL RÉARTFIABHEER|LICILSELs 
在 对 角 线 以 下 的 部 分 是 第 天 个 高 斯 向 量 的 置换 形式 .确切 地 说 ,如 
XKM,-I-vUe MLR + iin, k= elk +lin)jk P gH 
E, jc EU, 

证 明 从 (3.4.1) 可 知 MM, PA= U, 其 中 前 ,_, = 
M, _ 1 以 及 

M, = Be MBs En- Ë = n - 2. 

由 于 E, 是 关于 j TS pT (pj) WERTE E (1:;-1,1: 
Jj-D 7 F4. JT S^ M, 都 是 高 斯 变换 ,其 高 斯 向 量 为 Ç OD = 
E, 1 EU. LU 

此 定理 的 作用 之 一 是 让 人 很 容易 看 到 该 如 何 修 改 算 法 3.4.1 
使 其 在 结束 时 4 (i,j) 储 存 LG, OO 6»). S84 m dg E, 对 
所 有 已 算出 的 高 斯 向 量 进行 变换 . 这 可 在 算法 3.4.1 中 通过 将 
“ACR Ein) Au En) UR" AC lin) Alu, 1: n" jk 
B. 

例 3.4.2 51 3.4.1 P3AEBR2 2-8. PA = LU 是 


00173 17 10 1 0 06 18 -12 
10 02 4 -2|1= 112 1 00 8 16 |. 
1 18 -1 1/3 -1⁄4 L 0 


3.4.5 Gaxpy 形式 


在 $3.2 我 们 给 出 了 计算 LU 分 解 的 外 积 230 gaxpy 形式 . 
已 经 讨论 了 外 积 形式 的 选 主 元 法 ,很 自然 将 gaxpy 形式 与 选 主 元 
结合 .回顾 一 下 (3.2.5) 对 一 般 形式 的 gaxpy LU BE: 

L =I 

U=0 

for 7 —1:z 
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if ;—1 
v(j:n)—-À(:n,j) 
end 
B LO:j-1,0:;-1z2A(1:; -13, PRE z. 
4 U(Y:3-1,)72 
v(j:n)- AC: n,j) - L(j:m,1:;- i)e 


end 
if ; «n 
L(jti:n,j))—7 v(j tl ind/oG) 
end 
U(j.j)= vtj) 
end 


列 选 主要 求 找 | wv(j:n)| 的 最 大 元 素 且 相应 的 进行 .假定 A 是 非 
奇异 ,从 而 不 会 有 和 零 主 元 于 是 我 们 得 到 
L-I;U-0 
forj—1:m 
if ;=1 
v(j:n)7 AG: nj) 
else 
RL(I:j71,1: -Dz-A(L; 713, XRIB z 
.$ Utt:j-1,j)-z. 
v(j:in)- AG!n,j) - L(in,U:j-Dz. (3.4.2) 
end 
if j«n 
FRI bonn [ET plul S loin) s. 
pU)-n 
v(;j)—9 viu) 
A(j.j -1I:n)** AQCu,g t 1n) 
LOG t+ lin, p = ul tiin vlj) 
if ;>1 
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L(j,1:j -13eLu,1:;-1) 
end 
end 
UG wavs) 
end 
EEF F, RUES TA PA = LU 其 中 P= E, ELLE, 
ic H Bin Xn 单位 阵 上 FTA p(k IFAS SERIE RUE 3.4.1 一 - 样 ， 


IR ER n> flop fü O(n? KER. 


3.4.6 误差 分 析 

现在 我 们 考查 列 选 主 所 得 到 的 稳定 性 ,这 需要 考 弄 消去 时 以 

及 解 三 角 方程 组 时 的 舍 人 误差 . 记 住 在 交换 运算 中 没有 舍 入 误差 ， 
从 定理 2.3.2 不 难 证 明 计 算出 来 的 满足 (A +E) =b H 

(El<nu(3(Al+5 PTE] (01) r OQUD. (3.4.3) 

LAR TBE PLU LB PLL ALU 的 计算 形式 . 选 

ETCPEL MICRA T. BUA | L | on. 因而 我 们 有 办 

| E [as =< nu(3l A l2 Se! Ola) + OCu2). 

(3.4.4) 

留 下 来 的 问题 是 估计 || Ü || 定义 增长 因子 p: 
la app 


n TA Ir (3.4.5) 


p = max 


REAM Be AUC = M.E, M IE A 的 计算 值 . 则 有 

I E |] s 8n?oll A ll oe + OC). (3.4.6) 
此 界 能 否 与 理想 界 (3.3.1}) 相 比 取 决 于 增长 因子 2 WAL. {因子 
n? 在 实际 中 不 太 重 要 ,在 此 讨论 中 不 予 考虑 . ) 此 增长 因子 指出 在 
消去 过 程 中 元 素 能 有 多 大 .在 实际 中 ,po 的 量 级 常常 是 10, 但 它 也 


可 能 大 到 2""!, 即便 如 此 ,大 多 数 数值 分 析 专 家 认为 ,实际 的 带 列 
选 主 元 的 高 斯 消去 法 中 元 案 迅 速 增长 的 情况 是 非常 罕见 的 .所 以 
该 方法 可 以 放心 使 用 . 
例 3.4.3 设 带 列 选 主 元 的 高 斯 消去 法 用 于 问题 
0.001 1.007/2: 1.00 
| 1.0 SUME 3 0. 
假设 浮 点 运算 的 B=10,:=3, 则 
0 11 - 1.00 O07] - 1.00 2.00 
P= Ë aT 7 loo: MIL 一 | 0 1.09] 
VAR x —(1.00,0,996) T. HEAR 3.3.1. 
43.4.4. i$ AC 2 GE 
l, deXi-j5;-n, 
ix Aij, 
0, 其 他 . 
RAH LU 分解 满足 | 加 | 妇 1 且 Do=2? |. 


3.4.7 4S UB 


带 列 选 主 元 的 高 斯 消去 法 可 整理 成 主要 为 3 级 运算 .我 们 给 
出 分 块 外 积 的 详细 过 程 ,分 块 gaxpy 种 分 块 点 积 也 同样 是 可 能 的 . 
GL Duyde 和 Duffi 1988). 

设 AER"**, 为 清楚 起 见 假 设 n = rN EA 分 划 为 


a. = 
Hu 


7 [^n oy 
Ax A» pr 
r n—r 


4H TÉ e 8 5 a. A F : 
。 用 标量 的 带 列 选 主 的 高 斯 消去 法 ( 即 算法 3.4.1 的 长 方形 
式 ) 计 算 置 换 阵 p € "Xx*, 单 位 下 三 角 阵 L ER" "和 上 
三 角 阵 U € "使 得 


p [^] PaL 
'L Any La n 
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* 将 P| 作用 于 A 的 其 他 部 分 
ar pir]. 
22 ~ 4422 
* R26 RD] F = f8 [nj zt 
LiU = Ap 
+ 进行 3 级 收 正 
A = Ay-LyUy. 


利用 这 些 计算 我 们 得 到 分 解 
[£u Ü f OJ Unu Uy; 
PA Tr, , do z llo I, | 


然后 ,以 上 做 法 可 重新 用 于 A 的 前 + 列 . 

一- 般 地 ,分 块 算法 的 第 上 上 步 (大和 NN 一 1 对 一 个 (nn — (Ë — 
Dr)x r 矩阵 做 标 量 的 高 斯 消去 法 .求解 一 个 rr x(n 一 和 下) 的 多 
右 端 项 问题 以 及 进行 维 数 为 (n 一 kr) x (n — kr) 2 SRE. E 


个 算法 的 3 级 比 大 致 为 1 -3 .因此 ,此 方法 在 N 大 的 时 候 主要 
TEMRE. 


3.4.8 全 选 主 元 


另 一 个 选 主 元 策略 称 为 全 选 证 元 法 , 它 具 有 其 对 应 增长 因子 
th 27 ! 小 得 多 的 性 质 , 我们 重 述 ,在 列 选 主 中 第 个 主 元 是 从 当 
前 列 的 一 部 分 A(E:n ,点 ) 中 寻找 .在 全 选 主 元 法 中 ,是 把 当前 子 算 
ME Akin kin) PHBADE BRA CE ATE. RERIRB 
EZÍBA HIM, QE, M IE AFi: F ` = U, TES & 步 时 ,要 
AE EB AS AR PE AE 

AC = M, LE, M E AF po Fy, 
而 且 需 要 确定 置换 阵 E, MF, 使 得 
[CEA UP FL, | — max | (BAC F,), | 
类 似 于 定理 3.4.1, 我 们 有 
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EHE 3.4.2 设 带 全 选 主 元 的 高 斯 消去 法 用 来 计算 .上 三 角 分 
解 
M. E, ME AF 2 FL = U, (3.4.7) 
则 有 
PAQ = LU, 
Ja p< E, E, QSF eF, 1 是 上 是 满足 于 |ii | 所 1 的 单 
位 下 三 角 阵 . 工 的 第 中 列 在 对 角 线 以 下 的 部 分 是 第 上 个 高 斯 向 量 
的 置换 形式 . 确切 地 说 ,如 果 MM = 了 一 rttie 了 风 L(k+1:n,k)= 
(下 十 1 :nn) 其 中 g E, V7 Ej 47. 
HERA ”此 证 明 与 定理 3,4.1 之 证 明 类 似 .详细 证 明 留 给 该 者 . 
[] 
EAP Aer 2 FLA Pa ARIA Y. 
算法 3.4.2( 带 全 选 于 元 的 高 斯 消去 法 ) "本 算法 计算 全 选 主 
元 三 角 化 PAQ — LU, AYP L 是 单位 下 三 角 ,D 是 上 三 角 . p = 
E, y "Ej, Q= Fi: F, (EX P ERE REA R,k)€ 
Ulik, RAA alin) A(k ^ T: n, dk L(CR + 1:n, k)i 
BA(k=l:n-1). E, RRR ATH p(CR T.F, RRR feq(R)$. 
for Ë -1:2-1 
MERA bulum FRSA Sn Hp FOr 使 得 
| A(u, A3] 2maxll ACi, j| ii 9 kin j= hin] 
ACR,1:n)** ACE, M n) 
A(I'n,E)-—ACI: n,AÀ) 
plR)= A 
q(k)-À 
if ACk,2)}+0 
rows b tl:n 
A(rows,k) = A(rows, )/A(k,R) 
A (rows, rows} = A (rows, rows) — A (rows, Ë) 
"ACE rows) 
end 
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end 
ERARE 2n°/3 个 flop 和 O(n? Ue EE BE. 与 列 选 主 不 辣 , 全 选 
主 元 法 由 于 其 每 步 的 两 位 数组 搜索 需要 增加 很 大 的 选 主 元 工作 


理 ， 


3.4.9 ”关于 全 选 主 的 说 明 


假定 rank(A)= r< n, WHE x +1 eS ACr + 1: n, 
rtin) 0. ABAS E,-—F,=M,='(k=rtiin). FORE 
可 在 和 步 之 后 结束 ,所 得 到 的 分 解 为 
_ [Lu Ü i Nd 

[La Epdk 0 0 4 
这 里 Lf Unt rx r, LF UD 是 (x = r) Xr, lido i iki 
元 的 高 斯 消去 法 原则 上 可 有 几米 确定 矩阵 的 秩 .但 是 ,使 入 误差 使 得 
磁 到 精确 的 零 主 元 不 太 可 能 .在 实际 中 ,如 果 在 +1 步 中 主 元 是 
充分 小 , 则 我 们 可 以 "断言 "4 的 秩 为 x ,决定 数值 秩 的 问题 将 在 
$5.4 中 详细 讨论 . 

Wilklhson(1961) 证 明了 在 精确 运算 下 和 失 阵 AS = ME 
M EAF OF, 的 元 素 满 足 


. 1 
a | t &2 (2,32. V 117 max a, | ， 0.4.8) 


此 上 界 是 关于 到 较 慢 增长 的 至 数 , 该 结果 以 及 大 量 的 实例 建议 o 
总 是 不 太太 (如;:o=10), 这 让 我 们 推断 带 全 选 主 元 的 高 斯 消去 法 
是 稳定 的 .该 方法 在 (3.3.1) 的 意义 下 精确 求解 -个 附近 的 线性 方 
程 组 (A + 五 ) 宁 = 六 .但 是 ,在 实际 中 ,除了 需要 确定 矩阵 之 秩 , 看 不 
出 有 什么 理由 选择 全 选 主 元 而 不 是 列 选 主 元 法 . 
例 3.4.6 如 果 肖 点 运算 8 二 10,t = 3 jo $ 2 i& T A< 5) E PW 

消去 法 应 用 于 

0.001 1.00][ =i 1.00 

| 1.00 » ll |- Sol 


PAQ = LU 


+> 


- 134 7 


pa! a o= l nt 


Li 0 
i [1-00 0.00] > r2.00 1-00 ] 
— (0.50 1.001’ — 10.00 0.499 


AZ=[1.00,1.00.'). 4H -5 P 3.3.1 # s] 3.4.3 LR. 
3.4.10 不 必 选 主 元 


在 某 些 特 定 情况 不 必 选 主 元 .指明 这 些 情形 是 重要 的 ,因为 选 
主 常 会 影响 方法 之 艇 率 .为 举例 说 明 选 主 元 可 安全 地 酷 友 ,我们 考 
RATH e DB EE. aR 


n 
|a, |> >; |a, , ; = 1: n, 
271 


Iv 
则 我 们 称 A C e" E PER XE fp OE. UA T XE EB ZE BH Ji; Et nj De 
证 很 好 的 不 用 选 主 的 LU 分 解 . 
定理 3.4.3 wR AC 是 严格 对 角 占 优 , 则 A A LUTA 
|, ct ROKR RAAB 3.4.1, 则 p= I. 
WEA 将 A 分 划 为 
la zl 
A= |° unl 
其 中 上 是 |1z|. 注 意 到 应 用 - : 步 外 积 形 式 的 LU 分 解 后 我 们 有 
e ul 1 () 1 0 oO ipi 
N c 17 lA clo NEA a 
如 果 我 们 可 证 B = C —- vw Za 之 转 置 是 严格 对 为 右 优 则 对 进 
行 归纳 法 可 得 到 定理 .这 是 由 于 我 们 可 假定 BB 的 LU 分 和 解 为 B= 
L,U,,Bl#@ 
rod O Ira wt 
A= Lura L llo U, 
但 是 ,证 明 BT à dr fih pode 0 if 5 WE. ME RRNA 
(435 ° 


= ru. 


$1651 = Sle c, — uwa | 


x 


5-1 | w,| <3 
Sali a 
ix P" 
<del- pes D kal- lel) 
= [cy aa = |o; |. 了 


3.4.11 一 些 应 用 


我 们 以 一 些 鲍 子 结束 本 节 . 这 些 例 了 表明 对 于 不 同 线性 方程 
如 何 用 矩阵 分 解 来 考虑 . 
假定 A 是 非 奇 异 且 是 nX n, B Ron X p. SRA 
X(nx p)f$fi AX = B. BA tsi B. in X = [rT] 
Al B-[b,,-.5,12510 r3] , 则 
计算 PA= LU 
for £ - 1: p 
解 Ly = Pb, 
B Ux, = y 
end 
注意 A 仅 需 分 解 一 次 . 如 果 B = L, WRNBAIT A. 
另 一 个 例子 是 “在 循环 外 "得 到 LU 分 解 .假定 我 们 需要 求解 线 
性 方程 组 Ate =o, HP ACT "IECIT k BEERA. WAKE 
先 求 出 C= At 然后 求解 Cx = b HEE EE uT TER TG : 
计算 PA = LU 
for ;-l'& 
J Ly = Pb 2 W N š b 
用 Ur=b 2ZRRS b. 
end 
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i fea — | f Fe lin B Bn fer a S BE A B EE 1 PFE m kE E 3 B8 
HAE AC 2" de" HlcC Fu RIJEI s=cta Ia. 
PARE ARMA X =A RER sc! Xd. BATH 
的 方法 是 计算 PA = LU 然后 解 二 角 方程 组 Ly= Pd Me = y. H. 
结果 是 s= cT. WRIT Fr EWH H By E: , 4 — 4 Z: zÉ tE 8 3⁄2 E E£ 
hF, ETT Bie x tZ TE y FE ZO A EP Ee BR IH] A< Ft i N OR m. 


2J 题 


3.4.1 S A= LU Rn x n HRA Z LUSH] | x1. a! Mul 
分 别 表 示 4 FU 的 第 i 行 .征明 


r l 
TW jT T 
H, = d; 一 So gu] 
了 一 上 


RRA | U | x2" l| A us. Gm RRA. ) 

3.4.2 证 明 如 果 PAQ = LU 是 由 带 全 选区 二 的 高 斯 消去 法 所 求 得 , 则 
UG 天) 中 任何 元 素 之 绝对 值 都 不 大 于 | wi | . 

3.4.3 BRACE’ "ALU Sri H L Tü uU E H. 给 出 -个 大 的 
(n—;Y t+ (n — i2 ^ flop 的 计算 A-!' 中 (i, 门 元 素 的 算法 . 


3.4.4 ”假设 X 是 通过 (3.4.9) 所 求 出 的 数值 逆 . 给 出 | AK-rh- zm 
界 . 

3.4.5 证 明定 理 3.4.2. 

3.4.6 ”推广 算法 3.4.3 俩 其 可 分 解 任何 长 方 矩阵 . 

3.4.7 给 出 3.4.7 中 所 简 述 的 分 块 消去 法 之 详细 . 
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fiie P T u NER BET. ERTA F, - T 2x2 AERE 
把 A BS TIARA 538 Hik tepi sP BW p Lf e. 因为 每 步 只 
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E an tas E R A EA A 2. EE A TREIBER UE A Eb, A DOS EE. 
关于 这 些 方 法 及 实现 之 计 认 可 见 : 
K. Gallivan, W. Jalby, U. Meier, and A. H. Sameh( 1988). “Impact of Hierare tical Memory 

Systems on Linear Algebra Algorithm Design," hit 1 J. Supercomputer Applic. 2 ,12— 
48. 


S3.5 改进 与 精度 估计 

假定 用 带 列 选 主 元 的 高 斯 消去 法 求解 nxn BEEM Ax 
=). BEBE ROPE As WE + 位 , 基 是 8. 公式 (3.4.6) 就 是 说 ,如 
果 增 长 因子 适中 , 则 计算 值 宇 满足 

(A*E)2-2b, WEloxpllAlla, g- 1g. 

(3.5.1) 

EA ,我们 考查 此 结果 的 实际 含意 .首先 我 们 强调 有 必要 区 分 余 
量 和 精度 . 然后 讨论 加 入 . 迁 代 改进 和 条 件数 佑 计 . 美 于 这 些 方向 
的 详细 讨论 可 见 Higham( 1996). 

我 们 先 做 两 点 记号 的 说 明 . 第 一 , 整 节 中 用 到 的 都 是 无 穷 范 
数 ,因为 它 在 伟人 误差 分 析 以 及 实际 误差 估计 中 十 分 方便 .第 二 ， 
我 们 在 木 节 提 到 “高 斯 消去 法 "时 是 指 带 某 种 稳 点 选 主 技 巧 (如 列 
选 主 元 ) 的 高 斯 消去 法 ， 
3.5.1 余 量 与 精 产 


线性 方程 组 Am — b 之 计算 解 的 余 量 是 向 量 5 一 四 去. 小 的 
余 量 意味 着 ATAARE mM Am E. 从 (3.5.1) 我 们 有 
| & —A 2 || su H Allo | 2 || — , Ef 44838] 

Fam AAP k u Ski eR ik M. 


小 余 量 并 不 意味 着 高 精度 ,结合 (3.3.2) 和 (3.5.1) ,我 们 见 到 
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Hf p xl ue (A). (3.5.2) 


+ |! æ 
这 证 明了 第 二 个 指导 原则 ， 

启示 二 如果 单位 舍 入 误差 和 条 件数 分 别 为 ss10 2 和 
Ko (A ) 5109 . I] gp p ede tbe ET K 25 q d- qg 位 十进制 有 
效 数字 . | 

如 果 utol AVIRA. A AELA A EF k: HT 2 F 380). 2j 
说 明 启 示 一 和 启示 二 ,考虑 方程 纪 

[0-986 HI gi [0.285] 

0.409 0.237115 0.107 
其 条 件数 eus (A700, x — [2, 3]T. 以 下 是 不 同 机 器 精度 下 
HIR: 

AG HER B E Pa Hu T m den c ok. LIS WAP, 
HEFTER AREE AB ORE RHE F S Pri kok in 
的 解 也 许 就 足 驶 了 . 另 -方面 , 当 这 中 有 效 位 数 之 个 数 有 关 紧 要 
时 ,问题 就 更 复杂 ,本 节 番 下 的 讨论 都 与 之 有 关 . 


3.5.2 加 权 


B gi high b| AE, MOT AAR D, 和 Do: 
D, = diag( 8^1, 877), 
D; = diag( ^1, B^). 
n X n RIED FEH Ax = b 之 解 可 通过 用 高 斯 消去 法 求解 加 权 方 程 
HCD LAD: )y = Dilo 然后 令 x= Doy B.A, 和 BRI 
fe O(n?) flop HWURASARE. EBS D, 加 权 方 程 而 D» 加 
ALR ANE RE. 
从 启示 二 知 . 车 和 3 是.x Aly 的 计算 值 , 则 
ID- le d5-»l« 


l Del x | | y It co == uic (D AD;). 


(3.5.3) 


TÆ, “SRE (Ho, (D, (AD IDF es CA), 时, 我们 可 得 到 相对 
TARW, ABR AA" DS TC x p= D; !z | oe 
的 .这 就 是 加 权 的 日 的 .注意 到 这 和 包含 了 两 个 问题 ,其 一 是 加 权 问 
题 的 条 件数 ,其 二 是 在 D; 范 数 下 评价 误 站 的 好 处 . 

-个 有 意义 但 十 分 困难 的 数学 问题 是 对 RAAE D. 和 不 
le] p È x (DT AD;) 之 精确 最 小 .这 方面 的 结果 在 实际 中 没有 什 
么 用 处 .但 是 ,这 并 不 让 人 失望 ,因为 (3.5.,3) 是 :个 大 致知 计 式 ， 
身 精 确 地 极 小 化 一 个 近似 界 没什么 意 关 .我们 需要 的 是 改进 计算 
的 质量 的 快速 近似 算法 . 

这 一 变换 的 特 味 情形 十 简单 行 和 加权. 在 此 方法 中 Ds 是 单位 
阵 而 且 选 择 D, ,使 得 D I ' A 每 行 大 约 有 相同 的 无 穷 范 数 . 行 加 权 
减少 在 消去 法 中 把 一 个 很 小 的 数 加 到 一 个 很 太 的 数 的 可 能 性 ,这 
种 情形 严重 损失 精度 . 

比 简单 行 如 权 稍 微 复 洒 芍 是 行 - 列 半 衡 .其 日 的 是 选择 Dl 和 
D; 使 得 Dy ! AD, 的 每 一 行 和 每 一 知 的 无 穷 范 数 都 属于 _1/8,1]， 
其 中 8 是 浮 点 数 的 基 . 关于 这 方面 的 工作 可 见 McKeeman(1962). 

对 于 简单 行 加 权 和 行 - 列 平 衡 没 “解决 贡 权 阿 题 这 - :点 不 必 
过 分 强调 .事实 上 ,每 种 方法 都 可 能 比 不 加 权 得 到 一 个 中 善 的 全 . 
关于 这 一 点 的 详细 讨论 可 见 Forsythe 和 Moler(1967, 第 十 一 章 ). 
根本 性 的 建议 是 对 方程 和 变量 的 加 权 必 须 计 对 不 同 问 题 进行 . 遂 
用 性 的 加 权 技 巧 是 不 可 靠 的 .最 好 是 基于 原始 问题 描述 的 每 个 a, 
之 重要 性 来 进行 加 权 ( 如 果 需 要 加 极 的 话 ). 度量 单位 以 及 数据 误 
差 也 应 考虑 . 

例 3.5. 1 (Forsythe and Moler(1967), # 34.40 X.) 如 果 

[10 100.0001]. [ 100,000 | 
1 i z + 2 
AR JL AE Ha AT ae 38. jp) 38 


Lao alil" bl 
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AUS S —]10,: = 2 HERRERA, W j M 822 8] AZ = 
(0.00,1.00)" # # = (1.00, 1.00)T. 注意 到 x = (1.001…， 
999...) T X FA on t. 


3.5.3 人 迭代 改进 
设 Ar 一 上 通过 列 选 十 元 法 PA = LU DRR, BERRE 
PET] E E BJ 38 BE. ORRIN 


r = b- À + 
解 Ly = Pr 
解 Uz = y (3.5.4) 


Dae Q + z 
则 在 精确 计算 下 Ate TAT + Az= (b -r+r)+ r= b. PENE, 
这 些 步骤 的 浮 点 运算 所 得 到 的 xn 不 会 比 主 中 精确 . 这 一 点 是 在 
意料 之 中 ,这 是 岂 于 产 二 f(t 一 站 到 ) 如 果 丰 的 法 ,也 只 有 很 少 几 位 
有 效 数 字 . CRA BÉ] z—fl(A 1,)==A Í:-noisel) nk jk z 
精度 的 角度 来 说 是 一 个 十 分 差 的 修改 .但 是 ,Skee(1980) 给 出 了 谋 
差分 析 , 它 表明 ,从 向 后 误差 的 角度 看 何 时 , {3.5.4) 可 给 出 -- 个 改 
进 的 Trew MA UJ Ha Ue, H 
r=(llallla `l | oo (max( | A | |z|),Zmin(| A | | x |),) 

不 是 太太 时 , 则 (3.5.4) 给 出 xjow 使 得 对 非常 小 的 EE 有 (A + E) 
Xa. b. 当然 , 当 市 列 选 主 元 的 高 斯 消去 法 用 来 求 主 时 它 满足 c 
个 附近 的 方程 .但 是 这 对 某 些 保持 稀 朴 性 的 选 土 技巧 来 说 并 不 一 
定 成 立 . 在 此 情形 下 ,有限 精度 迁 代 改进 (3.5.4) 是 十 分 值得 的 ,也 
是 经 济 的 . BE Arioli, Demmel 和 Duff( 1988). 

要 使 (3.5.4) 给 出 更 精确 的 x ,有 必要 用 扩充 精度 的 浮 点 数 运 
算 来 计算 余 量 问 一 和 这 .典型 地 ,如 果 上 位 数 运算 用 来 计算 PA = 
LU, x,y 702, MUH 2: 位 数 运算 , 即 双 精 度 来 计算 6 — A £X 
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过 程 可 以 选 代 ,也 就 是 说 ，: 且 我 们 计算 了 PA=LU 和 说 始 化 = 
= 人 .我 们 可 重复 如 下 过 程 : 
r = b- Arl MAE) 
解 Ly = Pr fy. (3.5.5) 
解 Uz = y He. 
£ = ++ zx. 
FPR AR GO EE (LIE. OM IE TP AL x 时 必须 用 原 
始 的 各 .关于 {3.5.5) 表 现 的 基本 结论 总 结 旭 下: 
启示 三 ”和 如果 机 器 精度 u fe BRA ue 10 2 和 
koal A)==102 , WK £7(3.5.35) k 次 之 后 ,有 大 约 min|d,k(d - 
gq) | dE 88 ARR >._ 
粗略 地 说 ,如 果 we CA )s 1, WE RA SS AT 25 iH x 
( 单 ) 精 度 正确 的 解 .注意 到 此 过 程 是 相对 经 济 的 .每 次 改进 工作 量 
O( n?) ABIL FURR PA = LU 的 工作 量 为 O(n3). 当然 ， 
# A 相对 于 机 器 精度 是 足够 坏 条 件数 , 则 得 不 到 任何 改进 . 混合 
精度 选 代 改 进 的 -- 个 主要 缺点 是 它 的 实现 是 与 机 器 相关 的 ,使 其 
用 于 希望 能 广泛 流传 的 软件 来 说 ,这 不 会 受到 喜 励 .方法 的 另 一 个 
不 足 之 处 是 需要 保留 A 的 原始 数据 . 
55 — 7i iii RGAE SF LE RA RAR, BK A 的 行 与 
x ADU BEA BLD) BE PL a W T ALA A 2 SE B BJ, E a ARCA 
长 时 ,用 迭代 改进 方法 可 极 大 地 拓宽 求解 Ax = 问题 的 范围 . 
例 3.5.2 如 末 (3.5.5) 用 于 方程 组 
[0-986 0.579 rm [0-235]. 
0.409 0.23741 x; 0.107 
ik g8-10,:23. MERAH 8 H +e TEES]: 


I -| nn | 1.99) | 2.00) B 
* (—3.1711-2.99270— 3.001 


精确 解 是 x =(2,-3)'. 
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3.5.4 条 件数 估计 

假设 我 们 通过 PA = LU ORM Ar = 现在 希望 确定 计算 
值 子 中 的 正确 有 效 数字 的 位 数 . MO a RA AT RE 
&x CA) | A lai A^ ss. E LA dus RETIRER LER 29 38 f014. 
常用 公式 


ae, 


n 
| A ll. = max > 
beam 1 


难点 在 于 因子 | AC ||. BRABOIS it || X l. Eh 
X-(2,,7,2,) Wiz, 是 Ar = e( 见 3.4.9 水 节 ) 之 计算 解 .这 一 
方法 的 不 足 是 它 的 计算 量 :# = || A lls H X || TRAM 
Ilf. 

条 件数 估计 的 中 心 问题 是 假定 已 有 PA = LU s gii ij p Të Bi 
给 出 的 分 解 时 用 O n T flop 来 估计 条 件数 . Forsythe 和 Moler 
(SLE, 51 页 ) 所 给 出 的 -- 种 方法 是 基于 迹 代 改进 以 及 粗 轿 居 计 
AÅ oal A) Lx ll ul xd uu 其 中 > (3.5.5) PM z 的 第 一 
次 修正 .虽然 估计 条 件数 的 工作 芝 为 OU) ALE RARE 
MaRS BD PLSSAHA. 

Cline, Moler, Stewart 和 Wilkinson( 1979) € ih T — 4 # A xx 
— M FAI fh AR CES E E LER E SEDE TOSEEA F < # z 

Ay = d {Allo > iyl old |x 

的 利用 . HOA PE A AER ELA RE Red 使 得 y 的 范 数 尽 可 能 大 , 然 


Be 


&« = ll All lly told lle. 
该 方法 的 成 功 取决 于 ‖y lod | FEMA la ! 的 
eu. 
考虑 当 4= 了 是 上 三 角 的 情形 .dz ly 的 关系 完全 由 如 下 列 
形式 的 向 后 消去 所 确定 : 
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_ KT n = 


p(l:n)-0 
for £ -a:— E 
选取 dk) 
y(&) 7 (d(k) — pCR))/TCR, Ek) (3.5.6) 
B(I:£- D POR - 1) * yCE) TCI: & 1,8) 
end 
通常 ,我 们 用 此 算法 求解 一 给 定 的 二 角 方 程 Ty=d BÆRER 
们 和 白 由 选取 石 端 项 d 约束 条 件 是 相对 于 df SABA. 

一 种 使 得 y 增长 的 方式 是 从 集合 1 -1,1 PR a CR) dd 
y(k JER REA. SLE p0, WE (E) = — 1. RFR p(k) «0, 
则 取 d(E)-— +1. RII, (3.5.6) EH d (k) = — sign(p(e)). 
由 于 此 时 d 是 形 如 a4(1:n)=(+1,…, 土 1)' 的 向 量 , 我 们 得 到 估 
FRR || Tl yl s. 

mM d(k)C -1,+ 1 SRK yí) (1:56 — 1) + 
T(I:& — 1, 5) y , 则 得 到 一 个 更 好 的 估计 式 . 确 切 地 人 说 ,在 第 
步 我 们 计算 

y(E)' =(1~ plR))AT (RR) 

s(h)* = | y(k}*. + | p(:k- + TO:R—- 1,2) y) |, 

yky —(-1— p(E))ZTCR,R) > 

s) -lyG&) | + |] p(Qt:£-D-TO:&-1,8)y() |) 
4 

DU E slk slh), 
y) = yk), WE s(h)'< s(k), 
这 就 给 出 了 下 列 算法 . 

算法 3.5.1( 条 件数 估计 ) RTCA "r A EARLE AB 
阵 .本 牙 法 计算 co 范 数 单位 向 量 y PMB e RE | Ty (lo 
1/ {| T! d ufo x ( T). 

p(1:n)-0 

for &—xn:-—1:1 
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yCR) * — CH 7 pC&)DZ TCR. k) 
vk) —(-1- pCR)Y/ TOR, k) 
p(k)' = pilik - 109 TER - 1,5) y (À" 
p) =pClik-1I)+ TOL E - 13,8) vC) 
ifl y(6)* E ple)? az y | + pte) b 
y(&3)— y(&)* 
pO k-1)-p(k)* 
else 
yk = ylk) 
p(t:k-l)=ple)- 
end 
end 
x= Hy ilo ll Tl 
y=y/l xl < 
IE SL EE SG E poA e a ELR T. fe t. 
现在 我 们 描述 知 计 非 青 异 方 阵 A 的 条 件数 ,假定 它 的 分 解 


PA = LU EL 381; 
MAP HAA RE 3.5.1 F U' 得 到 UTíy= d HA 
数 解 . 
+ 解 二 角 方程 组 Li=y,Lrie=Pr, 和 Uz = w. 
*Ea— Allo | zll oH rl s. 


注意 到 zs 所 A 下 rw. 此 方法 基于 几 个 直观 结果 ， 
站 先 , 如 果 A BDA PA = 工 D, 则 通常 所 对 应 的 U 也 是 坏 条 
件 的 .下 三 角 阵 工 一 般 是 很 好 条 性 的 .所 以 将 条 件数 预知 方法 用 
TURE @Am. HEr, HACE AP =d 之 解 ,一 般 是 靠近 
Cmin( 益 ) 用 对 应 的 左 奇 异 向 量 .具有 这 样 性 质 的 右 端 项 使 得 齐 程 组 
Az=r 有 很 大 的 解 . 

在 实际 中 ,我 们 所 简 亿 的 条 件数 估计 方法 被 发 现 能 给 出 真实 
的 条 件数 比较 好 的 量 级 之 估计 . 
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习 题 
3.5.1. 举例 说 明 可 能 多 于 一 种 的 平衡 矩阵 的 方法 . 
3.5.2 用 -10,1=2 运 算 , 和 带 列 选 主 的 高 斯 消去 法 求解 
ll 15 pu] 7 
|. decl 
UT — jb E (Cali LB + =4 运算 计算 余 昌 {不 要 忘记 将 计算 的 余 旱 合 人 到 两 
位 数 }. 
3.5.3 iE P(A- E) - LU, Hie P RESTE, LERE]? <1 的 单 
FZM, DELZ. 证明 x AOS | ALLA) El. pe) BP pH 


.结论 是 当 列 选 .二 的 高 斯 法 用 于 各 时 ,如 果 有 小 主 元 , 则 4 是 病态 
PM.EIOREÉR.CRA-B,). ` 
3.5.4 (Kahan, 1966) 24 Avr — 5, RJ 
[2 -1 1 | [241 + 10779) 
A= |-1] 1077? 40979 jb = | —-1079 |, 

51 1079 1407? | 1071 
BfÁtx-070,—1,A2) T (MER RCA t E)y— b MI EI IO | Al, 
则 | r- y Sl |r|. RRER A MAR Po ae (eR m S gc 的 大 的 
变化 ,尽管 eu (A) = 10". (bE X. D = disg( 10 7, 10°, 10°). 证明 ko (DAD) 
£25. Cc DBLFEGE XE 2.7.3 XX EE "E E EUR. 


. 
min | iy, 


3.5.5 考虑 矩阵 
| n M 
01 -M M . 
T = ,M € X. 
0 0 I Ü 
) Ü Ü i 


“mt H103.5.63 H dC k) = - diag( PCA) BT STE PR BIT ARR =<. CP) hH? 
算法 3.5.1 RAR RMA? TAI es CT) E A? 
3.5.6 当 算法 3.5.1 应 用 本 人 2.7.9) 中 的 B, 时 给 出 什么 条 件数 估计 ? 
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第 四 章 ”特殊 线性 方程 组 


$4.1 LDMI 和 LDLI 分解 

$4.2 正定 方程 组 

$4.3 市 状 方程 组 

84.4 对 称 不 定 方程 组 

$4.5 分 块 方程 组 

$4.6 Vandermonde 方程 组 和 FFT 
$4.7 Toeplitz 此 相关 方程 组 


数值 分 析 的 :个 基本 原则 是 :求解 任 问题 都 应 利用 它 的 结 
构 特 性 .在 数值 线性 代数 中 ,这 意味 音 当 问题 中 出 现 请 如 对 称 性 . 
改 , 使 其 效率 更 高 .这 是 本 章 的 主题 ,我 们 的 主要 日 的 是 设计 一 些 
计算 特殊 LU 分 解 的 专用 算法 . 

首先 我 们 指出 当 A SKE ARIAS LOU B 3S # Lxx d 
fE $ 4.1 中 通过 分 析 LDM ' 分 解 得 到 的 .随后 在 $4.2 中 我 们 将 
注意 力 转 到 A 为 对 称 正 定 这 --: 重 要 的 情形 ,导出 稳定 Cholesky 分 
解 . 率 节 也 讨论 了 非 对 称 开 定 方 穆 组 .与 4.3 讨论 了 高 斯 消去 法 和 
其 他 一 些 分 解法 的 市 状 形 式 . 之 后 我 们 讨论 了 A 对 称 但 非 定 这 一 
有 趣 情形 .4.4 中 我 们 对 此 问题 的 处 理 显示 了 狂 值 分 析 学 者 对 
选 主 元 配 爱 又 恨 .我 们 音 欢 选 主 元 因为 它 能 保证 稳定 性 ,但 由 于 它 
会 破坏 问题 的 结构 而 讨厌 和 .幸运 的 是 关于 对 称 非 定 方 程 组 此 剖 
2€ pf — P Bs 8 BS IR INE 

FER RM ,其 本 身 也 是 带 形 年 阵 . 故 84.3 的 方法 仍 
适用 .但 是 坚持 这 样 的 观点 有 时 并 不 值得 .在 $4.5 中 我 们 以 分 块 
二 前 形 方程 组 为 例 来 说 明 这 种 情况 ,同时 还 讨论 了 -- 些 其 他 的 分 
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块 方程 组 .在 最 后 两 节 , 将 研究 一 些 很 有 意义 的 OCh^) WIL, x 
些 算 法 可 用 来 解 Vandermonde 和 Toeplitz 方程 组 . 


预备 知识 
假定 你 已 阅读 过 第 -一齐 、$2.1 一 82.5.S$2.7 和 第 一 章 . 本 
BS 节 的 阅读 顺序 如 下 : 
84.5 
Á 
84.1— §4.2-> 84.3— 84.4 
Y Y 
84.6 $4.7 
补充 参考 文献 包括 George f Liu (1981), Gill, Murry 和 
Wright( 1991), Higham (1996 ), Trefethen 和 Bau (1996), LA É 
Demmel (1996). 本 章 用 到 的 MATLAB eh Bt: chol, tril, Trzu, 
vander , toeplitz , fft. LAPACK 连结 包括 : 


| LAPACK :一般 带 状 答 阵 EN 
RRR 

改进 AX—-B,A'X- B, AHX- BPH MRS RE 
S AX-B,A'X-B,A"X- B 并 给 出 条 件数 
PA=LU 

用 PA = LU ft AX- B,ATX— B, AU'X- B 
平衡 问题 


APACK: 一般 三 对 角 短 阵 


_ GTSV | 解 AX=B 

__ GTCON | 求 条 件数 

. GTRFS | Mit AX- B, ATX= B, AUX- B 5 H 83 RE 
— GTSVX b -B,ATX- B,AUX- B 并 给 出 条 件数 
_ GTTRF ': PA— LU 


_ GTTRS , H PA- LU BE AX = 


B,A!X- B,A'"X-— B 
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LAPACK: 满 对 称 正 定 EAEE 


— POSV W AX-B 

. POCON | JA A= GOTH e E 

.. PORFS Mit AX B 并 给 出 误 美 界 
POSVX | AX- B JF use F s 


LAPACK: FAR AT FR 11: ERI 


PBSV 解 AX = B 
. PREON | J] A=Ge oR Kee 
_ PBRES 改进 AX — BANKER 
_ PBSVX | £f AX- B 2 Bie 
PBTRF i A= ee 


LAPACK: COS FAATERE A SE PE 
PTSV | 解 AX- B 
.PTOON | H A= LDL | Ri tH 
_ PTRES | 改进 AX — B 3FSSIB R 2 W. 
_ PTSVX | # AX- BARA 
_ PTTRF 'A-LDL! 
利用 A- LDL" AX— B 


LAPACK : PAT ERAE xz YE Dc 
| SYSV |MAX=B 
_ SYCON | 用 PAP! — LDL ! Ë 23 et 
_ SYRFS | But AX— B 并 给 出 误差 界 


_SYSVX | S AX = B 并 给 出 条 件数 
_SYTRF | PAP!—LDLT 
__SYTRS | 利用 PAP! - LDL! AX- B 


- SYTRI A ! 
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LAPACK ; = fy #7 DB EE 


. TEON | 用 有 A= GG! 求 条 件数 
. TBRFS | 改进 AX= B, A'X-BHSWIREH 
. TBTRS | # AX=B,A' X= B 


$4.1 LDM’@l LDL 分 解 


我 们 需要 发 展 一 种 能 利用 其 结构 的 求解 对 称 问题 AX = 6 的 
方法 .为 此 ,我 们 建立 一 种 变形 的 LU 分 解 ,将 A 分 解 为 三 个 因 r. 
的 乘积 工 DMI ,其 中 D Zx fE L $0 M 是 单位 下 三 角 阵 .一 旦 
得 到 此 分 解 ,那么 就 可 以 通过 O(n?) 次 浮 点 运算 求解 Ly = b( in] 
前 消去 ),Dz = y PM r= x (WER) KSB Az= b BD 8. S| 
A LDM 1! 分 和 解 的 原因 导 为 A 是 对 称 阵 的 情况 做 铺垫 ,此 时 汪 = 
A! lli] L= ma. 基 于 这 种 分 解 方法 的 于 作 量 仅 为 Gaussian 消去 法 
的 一 半 . 后 继 的 内 容 讨论 选 主 元 问题 . 


4.1.1 LDMT 分 解 


首先 看 -下 LDMI 分 解 与 LU 分 解 之 间 的 联系 ， 

E 4.1.1 如 果 AE:;.”** 的 所 有 顺序 主子 阵 都 是 非 奇 异 
的 , 则 存在 惟一 的 单位 下 三 角 阵 工 fe M 和 惟一 的 对 角 阵 DD = 
diag(d I... d, RA A= LDM". 

证 明 由 定理 3.2.1 知 , 存 在 A 的 分 解 A=LU. 令 D= 
diag( d, d. ) 中 对 所 有 i=1in ,有 ,= ui. 注 意 到 DD BAGH 
的 ,1= D'U RE E fÉ HIE A-LU-LD(D !U)= 
LDM TI .惟一 性 可 由 定理 3.2.1 中 LU 分解 的 惟一 性 得 出 . J 

由 上 面 的 证 明 过 程 可 以 看 出 , LDM" 分 解 可 由 如 下 方式 得 
到 :首先 通过 高 斯 消去 法 计算 A= LU ,然后 由 U = DMT 来 解 出 
和 机 .然而 ,通过 直接 计算 LL,D 8M 能 导出 另 一 个 有 趣 的 算 
ik. 

假设 对 某 满足 Sn 的 7, 已 知 工 的 前 7 一 1 90, D B4 ff 
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Wid, dad; A M ARIZ —1 fT. AR LG &1:2,)), MG, I: 
j 18 d RNR WE A= LDM Hes 5 909 26 X. B (k Hh 
说 ， 

All: a,j) = Le, (4.1.1) 
AK'Pvu-DM!e.(4.1. Dan ag" EER K (1:7; EH 
CAN F — ffi Jr Rë : 

L(l:j],1 :5)o(1: 3) = ACL: i.) 
的 解 ,一 旦 求 得 zw, 则 可 以 计算 得 
d(j) = (j) 
M(j,7) = v(i)/d(i), ; = l1:; — 1. 
(4.1.1) 式 的 “下 半 部 "有 关系 式 
L(j *1:n,l:j)v(1:j) = AGG+1: 2,5), 
E RARR RJ FRE L 的 第 j $l: 
L(j c1: n,l: j)v(9) 2 AQ * E: mj) 
- hy 1 1: n,l:j - Do(1:5- 1). 
FU LGC + Lin tip ACER gaxpy i5. £z E32 TEA 


for) Slin 
BÀ LO: 4,1:))9(0:)) 2 AGLI) 解 出 v CIL: j) 
for ;—[l:;—1 
MG, i) — v(i)4d(i) (4.1.2) 
end 
dí(j)— uy) 


L(;j *1:n,j) - CACE 1:m,j) 
—-LG t 1:n,1:j-1)v(1:3 - DO 407) 
end . 
ALU 4r RE 2S AL, A. HT HIE L,D, M Poss. 如 果 采 用 列 形 
SUR) I6] RITA ATA EAR zu(1:7), 则 可 得 到 以 下 算法 ; 
算法 4.1.1{LDMi) RAC: AA LU 分 解 , 则 本 算法 
计算 满足 A= LDM $5 #42 F Z 8 E L, M še x? É Ft D = 
diag(d,---.¢,),A PORa, Zr MN 11i» jd (im) AA 
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- n --—————À————— ÁÓÉáÁsá u T. —— | 


my (ip TR E. 
for; 7-1: 
GR LCU;,1:3)v(1:)2 AC jj): 
v(1:5) = ACE: .J) 
for £-1:j;-1 
v(ktl:j)—-vo(bt1:j)— vlk ACE 4 1:5, k) 
end 
计算 MG, Lj- DEET AC(G;71,).! 
for 2=1:;-1 
AC) =v(i)/AGi,?) 
end 
FF dG )t AGF). 
A(j jp) =vG) 
| 计算 LG En, HET AG tiin, j) 
for £—1:;—1 
A(j t1:n,j]) - AG * EU n,j) - v(R)ACI ^ 1:n, k) 
end 
A(Cj F1:n,4)27 AC) t Vin, jv) 
end 
本 算法 的 工作 量 与 LU AGIS), SI 22773 flops. 
可 以 证 明 ,利用 算 读 4.1.1 和 3.1 中 的 一 般 王 骨 方 程 组 解 
法 所 得 到 的 Ax —5I Y PRSE xS E IK a BRACATE)Y-5,.K 
rh 
LE Ix nu(31 A 1*5] Lil Dil MF D Olu’), 
(4.1.3) 


L.D,MA SIE L,D,M 的 计算 解 . 

如 前 一 章 考 虑 的 LU 分 解 一 样 ,除非 进行 选 主 元 处 理 ,否则 
(4.1.3) 式 的 上 界 将 没有 限制 . 因此 ,为 使 算法 4.1.1 成 为 实际 可 
行 的 算法 ,应 改 为 计算 形 为 PA = LDM 的 分 解 ,其 中 P RES 
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in ee it 


[BL 满足 17 |S 1 的 置换 阵 . RR TERRA D aE Ae AO HRA 
引入 LDM 43489 H E EOS ok oK AE I r ALY FP XE A 
此 ,我 们 将 不 退 求 其 细节 . 
例 4.1.1 
[m 10 20 [10 7 10 Ü | 1 2 
A-:20 25 ol = 2 | 0j 0 s pO 1 6j. 
3 4 lilo qo tO O 1 


(30 S0 61. 
按 算 法 4.1.1 deo A 被 覆盖 为 
É l 2 
= 2 5 0). 
L3 4 1. 


4.1.2 对 称 性 和 IDL 分 解 


WER A 是 对 称 的 , 则 LOM 分 解 中 有 些 是 多 余 的 . 
定理 4.1.2 如 果 A — LDM | 是 非 奇 异 对 称 阵 A 的 LDM 
> M| L = M 
证 有 明 BEF: M CAM TM CLD SRA E F HAY, FS 
它 是 对 角 阵 . 因为 D BIE a E BJ, k M !L tb E XF J8 BE. 而 
M 1! 是 单位 下 三 角 阵 ,因此 M 'L-I. g 
从 以 上 结论 可 知 , 算 法 4.1.1 OM, CEREA DU 
半 . 在 第 } 步 ,由 于 MM=L ABEL 的 前 ) -1 列 已 知 , 则 M{j,1: 
j- D tis B 384. 1. 22 P S958 ; 7b, E v(1:;) 是 由 
DM" e, 的 前 j 个 分 量 定 义 的 ,由 M = Lu 
d(1)LG,1) 
«0377 16-DLG.j-1)|. 
d(j) 
于 是 ,向 量 w(1:; 一 1) 可 通过 对 工 的 第 7 f icf je Ceo PRI. EH 
L(l: j, 1:529 = Allis. 2 AR j 个 方程 ,有 关系 式 vlj)= 
A(j,j32—LCGG 1: - Dvo(1:j- 1). 
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故 有 : 
for j —]1:z 
for: —1:;-1 
v(il-L(G,ijd(D 
end 
ofA, j L(j,1l: z DoCIE:; — 1) 
d(j)- vlj) 
LG tl:n, pI=(AG 4 1:n,j) 
—L(j t1:n,l:j-19)v(1:j- D)/vCj) 
end 
重新 整理 上 面 所 述 得 出 : 
算法 4.1.2(LDILT) 如 果 ACE" "对称 且 存在 LU 分 解 , 则 
本 算法 计算 满足 各 = 工 DT 的 单位 下 三 角 阵 L FAH p = 
diag(d,,°',d,),A Mt E aud LG e d,G=j) MRS. 
for; =1:n 
{计算 v(1:).l 
for z-1:7;- 1 
v(1) - AG, JACE, i) 
end 
v(j) AC), - AGuI1:3 -Do(1:j- D 
| 储存 d j) HIH EG 1:n,2.| 
ACj,j)- vC) 
A(jt*1:n,j) =CAG * 1: m ,j) 
— AG t 1n,li;-Do(10:;-1)/7v(?) 
end 
本 算法 需 n? 3 个 fieps, 大 约 是 高 斯 消去 法 的 一 半 . 
在 下 一 节 ,我 们 证 明 , 当 A 对 称 且 正 定时 ,算法 4.1.2 不 但 能 
ag Mt UDF e Hee 20 A BR Ee, Be 
元 ,人 $4.4 给 出 了 相关 的 方法 . 
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例 4.1.2 


10 20 30 10 07710 00] 2 3 
A= as s| = 2 rollo solo ia 
0 80 17) 13 4 1!'L0 O 1 0 15 
3 EE 4.1.2 RTE, ARBAH 
10 20 30 
A=|2 S a, 
C3 4 1i 
可 题 


4.1.1  uUEB]dE A; EE A 的 LDMCT 分 解 如 果 存 在 则 必 惟 一 . 

4.1.2 修改 算法 4.1.1 使 其 计算 PA = LDM 的 分 解 形式 ,其 中 开 A 
M 均 为 单位 下 三 角 阵 . D 是 刘 角 阵 ,P 为 置换 阵 划 满足 | zt. 

4.1.3 假定 n X n FONE A 按 如 下 方式 存储 于 向 量 e Pec =a), 
AU Aas 按 A 的 这 种 存 情 结构 重 写 算 祛 4.1.2, 尽 
可 能 地 把 下 标 换算 移 到 内 循环 外 . 

4.1.4 将 4 按 对 角 线 存储 重 写 算法 4.1.2. 和 参见 1,2.8 节 . 


本 节 注 释 与 参考 文献 


TERREA ri BE 4.1.1 与 Crou 和 Doolittle 的 方法 是 相关 的 ,参阅 Fox 
(1964) 83 55 PRESE, Stewart( 1973,131 一 149). 一 个 Agol 算法 请 参阅 
H. J. Bowdler, R. S. Martin, G. Peters, and I. H. Wilkinson( 1966} , "Solution of Real and 
Complex Systems of Linear Equations”, Numer. Math .8,217-—234. 
和 
G. E. Forsythe( 1960) . “Crout with Pivoting” , Comzs. ACM 3,507-—508. 
W. M. McKeeman( 1962). "Crout with Equilibration and Iteration” , Camm . ACM 5,553— 
555. 
WARAH, REA PE SE BB TE tB. 8] BUB H Hp E, aL 
M. Anoli, J. Demmel, and E. Duff( 1989). “Solving Sparse Linear Systems with Sparse Back- 
ward Error” SIAM J . Matrix Anal. Appl 30, 165—190. 
J.R. Bunch, J. W. Demmel, and C. F. Van Loan( 1989). “The Strong Stability of Algorithms 
for Solving Symmetric Linear Systems”, SIAM J. Matriz Anal. Appl . 10,494—499. 
A. Barrlund( 1991) , “Perturbation Bounds for the LOLTand LU Decomestions , BIT 31, 
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358—363. 
D. J. Higham and N. J. Highar( 1992)" Backward Error and Condition of Structured Linear 
Systems’, SIAM J. Matrix Anai. Appt. 13,162—175. 


$4.2 正定 方程 组 


如 果 对 所 有 非 零 向 量 > CORTO xlAxr > 0, URE A € 
RO" "是 正定 的 .正定 方程 组 是 特殊 Ar = b 问题 中 的 最 重要 的 一 
类 .考虑 2x2 对 称 阵 的 情形 ,如 

Gi I 
As » s 
是 正定 的 , 则 
t=(1,0) >7r TAr=an>0, 
r=(0,1) '>2z'Axv=an>O, 
t=(1,1) riAr=alt2ar t+ a >0, 
x=1,—- We! Ax = ai -2aptan >. 

H Jc ATS i RHE A Lao S&S lan + az;)/2. HER A 
中 的 最 天 元 素 位 于 对 角 线 上 且 为 正 . 此 蛙 论 是 普遍 成 立 的 . 一 个 对 
称 正定 年 阵 有 一 条 E 对 角 线 ,尽管 这 样 的 矩阵 不 如 对 角 占 优 年 
阵 那 样 明显 地 将 重量 集中 在 对 角 线 上 ,但 在 计算 中 同样 可以 省 略 
掉 选 主 元 的 过 程 ,在 这 点 上 二 者 是 等 效 的 . 

我 们 首先 给 出 正定 阵 的 -* 些 性 质 ,再 讨论 在 非 对称 情 形 时 它 
对 选 主 元 的 影响 .然后 集中 精力 设计 有 有效 的 Cholesky 分 解 使 其 稳 
定 地 对 一 个 对 称 正定 阵 4 进行 分 解 .给 出 的 算法 包括 gaxpy, 外 积 
和 分 块 三 种 形式 .最 后 简单 讨论 半 正 定 拖 阵 的 情形 . 

4.2.1 正定 性 

假设 A4ER"*" 是 正定 的 . 显然 一 个 正定 阵 是 非 奇异 的 ,否则 

可 以 找到 一 个 非 零 向 量 > ,使 rI4zr=0. 由 二 次 型 rAr 的 非 负 


性 可 推出 以 下 很 多 结论 : 
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定理 4.2.1 RACK ZEE, XER A b WJ B 
| SX'AXCR' tae X E 65, 

证 明 如 果 ECRIRE QOIz Bz = (Xz) AC Xz), I Xz—0. 
但 因 X 是 列 满 秩 的 , 故 z—0. I] 

推论 4,2.2 如 果盘 是 正定 的 , 则 其 所 有 的 主子 阵 均 为 正定 
的 . 特别 地 ,所 有 的 对 角 元 均 大 于 零 . 

WEB] ”如 果 wR 是 整数 向 量 , A IS <. v En HI X 
=h hC v EBRES opo, YU Fk HER. 由 定 
384.2.15] Alv, vS xl'Ax 是 正定 的 . [] 

HEI 44.2.3 eJ 让 是 正定 的 , 则 A 8027 À = LDMT 看 
#, H D-diag(d,, d, AS X TX. 

证 明 由 推论 4,2.2 IRE AC1:2,1:2)8F B—1:n 是 非 
奇异 的 ,因此 由 定理 4.1.1 可 知 存在 分 解 A = LDM T. 如 果 在 定理 
4.2.1 P X-L 1,MJ B= DM!L T=L lAL Bice. H 
M'L 1 是 单位 上 三 角 阵 ,B 30D 的 对 角 元 相同 EOS fl z XT 
零 . 0 

在 实际 中 ,有 几 种 典型 情况 会 产生 正定 矩阵 . 

* 二 次 型 是 由 物理 原理 保证 为 正 的 能 量 函 数 ， 

AERA rF— FX 3RX X, A F X 是 列 满 秩 的 (正定 性 是 

由 定理 4.2.1 Pe À = I, 得 出 的 )， 
* AAT 均 汶 对 角 占 优 的 且 每 个 a, K T£. 


4.2.2 HREF HRA 


仅仅 存在 LDM 分 解 还 不 足以 意味 着 它 就 是 一 种 可 取 的 计 
算 方法 ,因为 分 解 中 的 因子 可 能 会 有 大 的 不 能 接受 的 元 素 ， 例如， 
如 果 £ > 0, [sp E£ 


£ m 1 O0][e Ü 1 m/e 
A= | Š, =- uA ite mtr lle 1 | 
是 正定 的 .但 如 果 m/e1,352, E SEC REGE. 
下 面 的 结果 指出 了 计算 正定 阵 的 LDMT 分 解 中 何 时 元 素 会 
， 160 + 


RK. 
5EHB 4.2.4 BMA Cer rA E E, T—= (A + AT)72, 
S—-(A—AT)/2, 4e X A = LDM' , A 


| IEDM lega TIS l STS | 2. 
(4.2.1) 

WEAR 参见 Golub 和 Van Loan( 1979). 口 

AEJ TERMAR F A 26 ocu E: S: IN. 8 E H S 


得 的 因子 工 ,万 ,MT 满足 
| rE£ILDILMTIT REGI (Lit Dil M'i | =, 


(4.2.2) 
其 中 ¢ fk Ke) iG A Be. 4.2.1) 1 § 3.3 的 分 析 , 如 利用 这 


些 因子 来 计算 4x = 上 5, 则 计算 解 TWEL -+ E): =b, HA 
WE We <ul3n lA |l p+ 5en7( Ts + |] ST !S] 22 + OCu?). 


(4.2.3) 
BRA | Ti, || A | > 于 是 ,只 要 
= STIS , 
N = “Tals (4.2.4) 


BAK ARE ETC Ee. MAZ, SRA or Ho RP E, 
AB AT RAS B SP BY a eS K OK ISTE , ARES T: E BY SEY. AS nc BA ny FB 
中 可 估计 .明显 的 例子 是 当 A 对 称 时 ,有 总 三 0， 


4.2.3 对 称 正 定 方程 组 


将 上 述 结果 用 于 对 称 正 定 方 程 组 ,我 们 知 A = LDL! 在 在 并 
且 其 计算 是 稳定 的 ,但 是 ,此 时 还 有 另外 一 种 分 解 方法 . 
EHE 4.2.5(Cholesky 分 解 ) wR ACS? "aH ETH, 
则 看 在 惟一 的 一 本 对 角 元 全 部 大 于 零 的 下 三 衣 阵 GOR BAR 
A-GG'. 
WEB] 由 定理 4.1.2, 存 在 单位 下 三 角 阵 工 和 对 角 阵 DD = 
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diag 44,77 d ) 使 得 A= EDL’. AF d,>0 大 于 零 , 则 年 阵 G = 
LdiagG/ di, d, ) 是 对 角 元 大 上 零 的 实 下 三 角 阵 . 它 同时 满 
E A= GG1. M —TEHi LDLT 分解 的 惟一 性 可 扒 得 . 口 

分 解 A = GG! RPA Cholesky 44.6 被 称 为 Cholesky = 
ARE. 如 果 我 们 计算 Cholesky 分 解 , 然 后 解 二 角形 方程 组 Gy = b 
AGla= y W p = Gy = G(G'z)- GGlr- Ar. 

在 定理 4.2.5 中 ,Cholesky 分 解 的 证 明 是 攀 造 性 的 ,然而 ,可 
以 通过 利用 方程 A = GG! 来 得 到 计算 Cholesky = fi PESO SU At 
的 方法 . 在 以 下 咏 小 节 中 我 们 将 说 明 有 好 几 种 方式 来 做 到 这 一 
H. 


£l 4.2.1 矩阵 
i 2 t 0772 0 -1] 
| ME B 1 lig alle 11 
[42 0||2 -/2 
1-42 ilo 5 
是 正定 的 . 


4.2.4 基于 Gaxpy 的 Cholesky 分 解 


现 方法 ,比较 等 式 4 = GGT 的 第 j; 列 可 得 
AC: J) = 2, 3 G(j,k)GU:,&). 


也 就 是 说 ， 
GG. DGD = AG...) GG, GG, k) =v. 
(4.2.5) 
to! GMS; —15up A War IPA ih v.d (4.2.5) f G 2 Bl 6 
相等 关系 推出 
G():n,j) = v(jin)/w v(j). 
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TESEH gaxpy 运算 ,于 是 得 到 基于 gaxpy 运算 的 Cholesky 分 
解 计 算 方 法 : 


for; =1:n 
v(jin)- AG ing? 
for £-1:;- 1 


v(jin)—v(jin)- G(j, b) Gjin, k) 
end 
Gjin, j= v(jin)/ V vij) 
end 
可 以 在 计算 过 程 中 用 G 覆盖 4 的 下 三 角 部 分 . 
算法 4.2.1(Cholesky 分 解 : 基于 gaxpy 运算 ) 给 出 对 称 正 

EE ACE”! ,本 算法 计算 出 一 个 下 三 前 阵 GC sx" i L A = 
GGT. 对 所 有 j, GOG, DAA AC). 


for ;—1:n 
if 1 
A(jin,j)-7 ACjin,j)—- ACjin,1:; - DAC, 
j=)" 
end 
Ajen, j)= Ain, A AC .1) 
end 


ABE n3 flops. 
4.2.5 基于 外 积 的 Cholesky 7H 


另 一 种 基于 外 积 { 秩 为 1) 的 Cholesky 分 解 可 通过 对 矩阵 慑 如 
下 划分 得 到 : 


lare AA B - e mad (4.2.6) 


这 里 8 = ve, BPA A REM a >0. m B- vv a 是 
X'AX 的 主 了 阵 , 其 中 


0 L. | 
i 1d TE EAD. 如果 存 在 Cholesky 分 解 G,Gl= B- uo! Za, 
出 (4.2.6) 有 A = GG ! , H 
B 0 
CWB sl 
因此 可 通过 反复 利用 (4.2.6) 来 得 到 最 终 的 Cholesky 2r 8E, E77 
AM ji 形式 的 高 斯 消去 法 一 样 . 

SE 4.2.2( Cholesky 分 解 :基于 外 积 运 算 ) 给 定 一 对 称 正 
定 阵 六 EE"**, 本 算法 计算 满足 入 = GG /的 下 三 角 阵 GES", 
对 所 有 的 >j GG, RE AG). 

for k =1:% 
A(k,k) = v ACR, E) 
ACk * lin, k) - ACE * 1: n E) ACR, E) 
for ;-k tr t:n 
ALJER JSA JIT AG:n, AIAG.) 
end 


end 


本 算法 需 n° 73 flops. 注 意 ,其 中 的 7 循环 计算 外 积 的 下 三 角 部 分 : 
Alb+lin,k+ l:in) 
=Alk+1in,h4+1:in)- ACER + lin, E) ACR + link)". 
回想 在 1.4.8 PRA gaxpy 运算 和 外 积 运算 的 比较 ,容易 得 知 
算法 4.2.1 中 读 写 癌 量 的 次 数 要 比 算法 4,2.2 少 一 半 ， 
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4.2.6 基于 分 块 点 积 的 Chotesky 分 解 


假定 4 E.R** 对 称 正定 ,将 A = (A,) MH Cholesky 因子 看 
{SAA ARR N x N 分 块 阵 .到 出 等 式 A = GG! 中 关于 第 
(2,43 RS MSR 

A, = >) GaG}. 
AE X. 
S = A; 一 S GaG, 
二 一 外 
Wf. =; tt, G GIS S; $i»; 时,G,GJ = S. 通 过 合适 的 
BET. ,这 些 方程 叮 用 来 求 得 所 有 的 Ga: 

算法 4.2.3(Cholesky: 基 于 分 块 点 积 运算 ) 给 定 一 个 对 称 正 
定 阵 ACS" ,本 算法 可 求 得 一 个 下 三 前 阵 GES BLAH 
GG! ,4 的 下 三 角 部 分 被 G HE ELA 被 看 做 是 会 方 对 角 块 的 NX 
N SB. 

for ; = L: N 
for i —;:.N 


-1 
S = Ay 一 S^ GG} 
B= t 


if; = J 
计算 Cholesky 分 解 S = GGF 
else 
从 GG] = S SB G; 
end 
用 G; Bite A, 
end 


end 
整个 算法 需 2° flops, 与 前 述 其 他 形式 的 Cholesky 算法 相同 , f 
EA 被 适当 分 块 , 则 本 算法 中 含有 大 量 的 扼 阵 滋 法 运算 .例如 ,如 
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W n=rN, Hi A, BBA cox pr 89,9 3 BSR A 1- (Z7N?). 

由 于 没有 给 出 积 GG 是 如 和 何 形成 以 及 Cholesky 分 解 S = 
CC 如何 计算 ,因此 算法 4.2.3 是 不 完整 的 . 为 获得 算法 的 高 性 
能 ,这 些 重要 细节 必须 认真 设计 . 

田 一 个 块 算法 可 由 基于 gaxpy 运算 的 Cholesky 算法 得 出 .将 
算法 4.2.1 执行 x 步 后 ,我 们 已 知 

pAn sejo [en Ü IR Mb Ü | 

áz A Ga d -t0 -Ga L, | 
中 的 GEZ AN cao BE F RT AR A tÆ 
X DB] RERA A T #] FEDERER BEES 89 £41 4676 RARE A = An- 
Ga GÀbf; SPA > 步 基 于 gaxpy 的 Cholesky 计算 , 按 此 方法 进 
FH ,我们 得 到 基于 分 抉 的 Choiesky 分 解 算法 ,其 第 下 步 是 对 
一 人 (一 IUr 阶 的 矩阵 进行 > 次 基于 gaxpy Cholesky 分 解 ,接着 
ERA n 一 kr DERRE. UR x == rN, — 2 j W B 2 5 
1-3A2N). 


4.2.7 Cholesky 分 解 的 稳定 性 


在 精确 运算 下 ,我 们 知 对 称 正 定 阵 存在 Cholesky 分 解 .反之 ， 
如 果 一 个 Cholesky 分 解 过 程 能 够 顺利 进行 完 且 得 到 严格 大 于 零 
WEAR BA A 是 正定 的 .因此 ,判断 A 是 否 正定 ,我 们 内 需 用 
上 述 的 任 一 方法 来 试 着 计算 其 Cholesky 分 解 . 

有 售 人 误差 是 情形 更 为 有 意思 .Chelesky 算法 的 数值 稳定 性 
大 致 可 从 不 等 式 ; 


T 


gS = > = dy 
导出 .该 不 等 式 说 明 Cholesky 三 角 阵 因子 有 很 好 的 界 iB || G || 


= || A | 也 可 推出 相同 的 结论 . 
Wilkinson( 1968) 在 其 经 典 的 论文 中 对 Cholesky DRG A 


误差 作 了 次 入 研究 .利用 该 论文 之 结果 可 证 明 , 如 果 二 是 通过 上 述 


H -- Cholesky AARIS Az = 了 的 计算 解 , 则 主 满足 扰动 方程 
MCA +E) =b, JEF LE lla cuu lA lo, c, 是 由 n 决定 的 小 
常数 .Wilkinsen 进 -- 步 指出 ,如果 gtk) CA ) 1, F: rh dq, 是 男 一 
个 小 常数 , 则 | Cholesky Ay f BE PT a AR 215 BS a BO 
平方 根 . 
例 4.2.2 如 果 用 算法 4.2.2 来 浆 理 下 述 正 定 阵 : 
100 15 0.01] 
A=| 1 23 0.01), 
19.01 0.01 1.00 


BM 8B= 10,z —2 A REHA, W g = 10,81 71.5. gu = 
0.001,22; =0.00. 村 算法 在 求解 gs. Sr K Wk. 


4.2.8 半 定 矩阵 


训 果 对 所 有 的 向 量 x BA Ar 20, MER A 是 半 正 和 定 
的 .对称 半 正 定 矩 阵 (sps) 也 是 一 类 非常 重要 的 扯 阵 ,我 们 仅 简 单 
地 诗 论 一 些 可 用 来 求 多 sps 问题 的 Cholesky 型 方法 .首先 需要 关 
于 sps 逢 阵 对 和 角 元 的 一 些 结论 ， 

EME 4.2.6 WE AC snn A s bk r EX 65,0) 


la, E Cas + ag)72, (4.2.7) 
la, VE aud; {7 £j}, (4.2.8) 
max I ay |= max | as 1, (4.2.9) 


a; = OA, )}=0,A(;,7) = 0. (4.2.10) 
WEB] MẸ ce =e; +e, WM Ocxl'Ax-a;ta, 2a, ,而 如 果 
x= e e, M OSTAT = an t a, 2a 4 SEXLÓA.2. 7) 0) Hi df — 
式 推出 .等 式 (4.2.9) 是 (4.2.7) 的 直接 推论 . 
为 证 (4.2.8) ,不 失 一 般 性 , 令 i=1,j =2, 考 察 下面 不 等 式 
Tra a r 
o<|* | »" MINI 
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BENED Hbro PEE ED m RR wawawa C Á as“ —— -= 


H F A(1:2,1:231B JE 36 EY, LA RR TORT x 
F3 — KE, WERI RO, mAAR 421 danan 5 TÆ. H 
(4.2.8) n] HEH (4.2. 10). [| 
考察 基于 外 积 的 Cholesky 分 解法 应 用 十 sps HEE m H Z HER 
作 么 结果 . 如果 元 素 ACL AAS , 90H (4.2. 100 I A kin, AW 
3E , 故 不 进行 任何 操作 . 这样 有 
for k —1:n5 
if ACE, £220 
A(Ek,R)— V ACE, E) 
A(k41:n,R)— ACE tlin, RAR, E) 
for ;=At+1in 
A(jin,j) =AGin i} - ACj in, ) ACj. E) 
(4.2.11). 
end 
end 
end 
这 样 对 算法 4.2.2 作 简单 修改 就 可 以 适用 于 半 正 定 阵 .然而 ,实际 
计算 中 由 于 使 入 和 册 产生 误差 ,nj 能 导致 结果 不 会 恰好 为 零 ,所 以 航 
好 是 进行 选 主 元 . 


4.2.9 ”对 称 的 选 宇 元 


为 保持 对 称 阵 A 的 对 称 性 ,我 们 仅 考虑 PAPT 的 数据 重 排 
列 , 其 中 P 是 置换 阵 ， LABS EER CA =~ PA) LEER CA =~ AP ) $f 
会 破坏 对 称 性 . 形 如 
A-—PAPÍ 
的 修正 称 为 A XT RR BEER. 这 种 操作 不 会 将 非 对 角 元 移 到 对 角 位 
置 上 . PAP’ WM ACRE A 的 对 第 元 的 一 个 重新 徘 序 . 
假定 在 {4.2.11) 的 第 & BS FS RK IE ACR rn kin) PR 
太 的 对 骨 元 对 称 置 模 到 主 位 置 上 .可 果 此 最 太 对 角 元 为 堆 , 则 由 
(4.2.10) 知 ACk:n, 训 :nn)==0. 这 样 我 们 本 以 计算 PAPT — GG, 
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SS U UU 一 一 一 rm . — i —  — Ta derail 


其 中 Gcr DEES fake, 
算法 4.2.4 ÜR ACR E SH ERE, HRA r AH 
法 求 得 满足 算 PAPI-GG! i) nx r FARG, # P PAE 
阵 r Z Pap. AC: 1: r) F RE G 6 FZ BB MAK, P = 
PoP EP P, Z$ UO ATS piv k 4T AR 
r=0 
for £ —1:s 
Hg (e= 4 =S n MERE A(g.q)-— maxi ACER, E), Ata, 
n)| 
if ACg,g)>0 
r=rttl 
piv(k) 7 q 
A(R, D Aq. :) 
A(:,k)* AC.) 
Alk, k) = / ACE, R) 
A(Ek-Fl:n,b)-7 A(b t 1:n,E)/ ACR,R) 
for ;—5 + 0: - 
Ajin, pP S A(gin,j) - ACgin BIAG,2) 
end 
end 
end 
实际 计算 中 EAT @2 FED AC , k HA. IB URP AE EB SE 
很 高 的 技巧 性 , 读 首 可 参考 Higham( 1989) . 65b, 8 5.5 HOR AR au 
测 问题 的 容 差 作 了 讨论 ,最 后 我 们 指出 算法 4.2.4 的 真正 高 效 实 
MARLEE A 的 下 三 角 部 分 . 


4.2.10 极 分 解 与 平方 根 


W A= U LV) BAC RE SVD 分解, 其 中 mon. 
注意 到 
A = (U V X VE V!) = ZP, (4.2.12) 
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HEt Z= U,V), P=VE,V H 
rlPro = (o z) E (ule) = > ai = Ü, 
El 


其 中 y= VTrA Z BIEZ, P 是 对 称 半 正定 的 . (4.2.12) 称 为 
ROB ,因为 它 与 复数 分 解 em sfr. Eq PS 
M 12.4.1 节 . 

另 一 类 重 昌 的 分 解 是 第 阵 平 方 根 . 假定 A ar Rap 
正定 的 旦 4=GGI 是 其 Cholesky 74H88. WE G = UV! E G 的 
SVD 4} Ý, X= UXU", W X EWP EE W, HA 

A = GG! = (UEZVI)(UEV)! = US UT 
= (UUT USUD = X’. 
A X JÉA 的 半 方 根 . 可 以 还 明 ( 用 特征 值 理论 很 容易 ), 对 称 半 
正定 阵 有 一 个 惟一 的 对 称 平 正定 的 平方 根 . 


习 题 


4.2.1 E H = À 1 iB E Hemi Ë: H EE, HP A,BCET"^,:x E 
味 着 r70BD,r Hr >o 


(a) TEN C = [ | 是 对 称 正定 的 ， 


(b) 设计 一 算法 求解 (A IB) (a Yiy)= (b tic), Ht b,c,c Fly 是 
SU EA LESER GEE 823 A flop FISER JF JE dH PR ae PIER EE S [B]. 

4.2.2 PEACH ”是 对 称 正 定 阵 ,给 出 一 个 算法 来 求解 满足 44= 
RR! HLZ RERO”. 

4.2.3 BE AERO" ERRER, S T-(A + A')22,S= (A - 
AT)/2. 

(QUEM || A ! ll oz] T^! lo 和 对 于 所 有 z€ o" xlA leat 1 
my. 
(b) HEH AIR A= LDMT Wt k= 1n daz T s. 

4.2.4 寻找 一 个 2x2 的 实 第 阵 A ,使 其 所 有 的 实 非 索 2 向 量 者 具有 性 
质 r Ar>0 BEF * 集 范围 内 它 却 不 是 正定 的 . 

4.2.5 HE ACE AEM Si ice AAA RB A 
优 的 , 则 A 是 正定 的 . 
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一 
—ur r m... 


4.2.6 TEAR fir) = (rl AO R^ AMBER, MARY A 
是 正定 的 . 

4.2.7 修改 算法 4.2.1 使 得 如 果 出 更 负数 平方 根 的 情形 ,算法 找到 一 
个 单位 向 量 x HR ztar<n 后 算法 终止 . 

4.2.8 BR A HRW AE XA: WA) = roe ete = 11, 
HEAR NRO € W(A), A Trike LU 分解. 

4.2.9 WAG S" "(m « nO) :个 极 分 解 算 法 . 

4.2.10 E A= 1+u! l EF ACT H | a ll:=1, H A É 
Cholesky 因子 的 对 前 元 和 次 对 角 元 的 显 式 表 示 . 

4.2.11 假定 ACR” "HH PR iE SRA Cholesky 因子 存在 , 令 
e = L,RE)AEF Iz iX =n, > ay RE AE A + alee} * ee!) 奇 异 的 最 小 
实数 .同样 , 令 mi 是 使 (4 + oex1) 奇 异 的 最 小 实数 .给 出 应 用 Sherman-Morri- 
son- Woodbury 公式 求解 这 些 量 的 方法 ,并 指出 求解 全 部 a; B) flop 数 . 
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$ 4.3 带 状 方程 组 


在 符 及 线性 方程 组 的 许多 应 用 中 ,系数 矩阵 是 带 状 的 . 只 要 方 

程 排序 能 使 得 每 个 林 知 数 xz, 只 出 现在 与 第 ; 4 J 8 MH KILTA 

方程 中 就 会 出 现 这 种 情况 .严格 地 说 ,对 j > + q fia, = 0, 则 称 

A=(a,) RA LPR qi ij t p Raz =0, MES A = (a RA 
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下 带宽 p. 当 求解 带 状 方程 组 时 ,由 于 LU,GGI,LDMT 等 中 的 三 
前 因子 也 是 带 形 的 ,因此 可 节省 很 才 . 

开始 本 节 前 ,建议 读者 复习 一 下 $1.2 中 关于 带 状 矩阵 乘法 
的 内 容 ， 


4.3.1 带 状 阵 的 LO 分 解 


站 先 要 给 出 的 结论 是 , 训 A 是 带 状 阵 日 存在 LU 分 解 A = 
LU, 则 工 (了 具有 与 A 相间 的 下 (上 ) 带 宽 . 
定理 4.3,1 JEE AC HE LU PRA=LU, RA 
的 上 带宽 为 ,下 带宽 为 万, 则 五 的 上 带宽 为 ,于 的 下 带宽 为 户 . 
证 明 证 明 过 程 是 对 ”做 归纳 法 .由 (3.2.6) 有 如 二 分解 : 
a uw! 1 0 771 0 a w'/B 
a= |° "Ils I, IL, nuts lla I | 


n-i 
1R 5E SA EUM] a BUB o TOUR Ale 的 前 boom RIES HJ, $C B - 
wal a E) EAE Tq. FHRA q. it L U, AE Nb E EI LU 分 解 ， 
应 用 归纳 假设 和 w,z PER 


| l Ü 1 
B va L.l 
和 
a w" i 
v= t] 
Ü Uy 
HEREA REE EE A = LU. E 
针对 带 状 阵 的 专用 高 斯 消去 法 存在 LU 分 解 也 是 一 目 了 然 
的 


算法 4.3.1( 带 高 斯 消去 法 : 基于 外 积 的 形式 ) BE 
ACK "#) EEE AG, FERA p, 当 其 存在 LU PMH, AR 
AIT SB. 当 >PH AC JRL JRA, FUR 
U(i EE. 
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for £—1:»-—1 
for ;—k-ti:mi(E + p.n) 
ACi,b)- ACE R)ZACR , k) 
end 
for j= £ * 1:min(& + g.n) 
for ;— £ * I:mn(Ek * p,n) 
A(Gj) - AGI, - AGiLR)ACR 3) 
end 
end 
end 
ARR n P? p An >, WER ARR 2npg T flop. E 4.1.1 
(LOMTE PA H Cholesky 分 解 算法 部 同样 有 带 状 的 形式 , 留 给 
读者 练习 . 


4.3.2 带 状 三 角 方 程 组 的 求解 


求解 带 状 三 角 方程 组 时 也 可 类 似 的 节约 很 多 工作 量 . 
算法 4.3.2( 带 向 脐 消 去 法 : 列 形式 ) S LORCA SRE 
为 户 的 半 位 下 三 角 阵 ,给 定 五 乞 ] AREER Lr= b OMAR. 
for j=1:7 
for ;—; + 1:min(j + p,n) 
b(;)=b(i)- L(i,j)b(7) 
end 
end | 
如 果 n> p ,该 算法 需要 2np T flop. 
算法 4.3.3( 带 向 后 消去 法 : 行 形式 ) FUCK "是 上 带宽 
Ag 的 非 奇 异 上 三 角 阵 . 给 定 OCR, 本 算法 以 Ur 二 Z W š 
b. 
for ;—z:-1:1 
b(j) = bGY/UG,.) 
for i - max(1,5 ~ p):;—1 
O4 + 


— TE i —abw—wsH s w | 


b= pi -UGi, 6G) 
end 
end 


如 果 s» ,该 算法 再 要 2 na T flop. 
4.3.3 选 主 元 的 带 高 斯 消去 法 


列 选 主 元 的 高 斯 消去 法 也 可 利用 & 的 带 状 结构 进行 特殊 修 
ar. 然而 ,如 果 PA = LU,L 和 的 带 状 性 质 却 不 奸 么 简单 . 例如 ， 
如 果 A 是 三 对 角 阵 ,在 算法 执行 的 第 一 步 将 前 两 行 五 换 后 , u 8€ 
卡 零 了 .结果 , 行 的 互 换 将 带宽 扩大 了 .精确 地 知道 带宽 如 何 扩 大 
是 下 面 定 理 的 主题 . 

定理 4.3.2 HACE’ "jkt. RE TERTIA qe 
p 如 果 用 列 选 主 元 的 消去 法 来 计 普 高 斯 变换 

AT = 一 ab)el g=lin-1 
fo BRM P1,… P, 1 使 满足 M, PLUGS M PA = Ú xL 
三 角 阵 , 则 1 的 上 带宽 为 户 + g MLS isi K ii pha) 
=. 

证 明 设 PA = LU 是 列 选 主 元 高 斯 消去 法 所 计算 的 因子 分 
f HAT P= P, POH PI SR P' = Leste, L dk rh 
is onus Æ 2 的 一 个 置换 .如果 s i p W PA 的 i 
Er EE TEER AE SO CR AT i= 1:57 p —1 (PA); = 
a, =O TEE. s, — p — (i. 于 是 可 推出 U AA 是 奇异 的 ,这 是 
HG. ARAF i=in, f smi r p BIE PA 的 上 带宽 为 p+ 
9. 由 定理 4.3.1 MUR EPR pt g. 

为 证 实 aU AY KE A FLS Mi 来 得 到 , 因 M, PIDE pR AT 
要 将 已 部 分 消 好 的 矩阵 PM, P -o P A 中 的 (二 1,7),…， 
(j++ 轧 ,j) 元 素 化 为 零 . (] 

因此 就 U 变 得 比 的 三 角 阵 “更 胖 " 这 一 点 来 说 , 选 主 元 会 破 
坏 带 状 结构 ,然而 关于 工 的 带宽 没有 任何 结果 . 但 由 于 工 的 第 
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A EIS bb ay -个 前 换 ,因此 于 WR -- FS en p+ + 
lE G. 
4.3.4 Hessenberg LU 分 解 

fi ATE OP ERR AR SB B: 1] P B — A fn] F.3E 1 8 8 Tu 
A iB Ds te E g-4r| Hessenberg FORE H 的 (回忆 -下 ,如 
*OH E b Hessenberg E,W H ; 2 5 + 1 时 h,-0).28 Pf k — 1 # 
的 列 选 主 元 高 斯 消去 法 ,得 到 如 下 形式 的 .个 上 Hessenberg 9€ ; 


X X X X X 
le AX x< X A 
0 0 x X X, 中 一 了 ,好 二 
P Ü) x X x 


LO 0 0 x x. 
EA I RE Ee RZ T a — T EE E E P, J šh ae ES 
交换 第 3 行 和 第 4 行 的 单位 阵 .而且 下 - 步 的 高 斯 变换 M, 在 位 
Pr( 6 + 1, 点 } 有 一 个 非 零 忌 三 ,这 刻画 了 下 面 算法 的 第 上 JF. 
算法 4.3.4( Hessenberg LU) 给 出 一 个 Hessenberg BE HE 
“RR eit GRE LABRM, | PL. M P,H =U, 
中 每 个 P, AERE, SUM M, 是 元 素 以 工 为 界 的 高 斯 变换 . HG, 
kÆ ik AWG ABS E IRA BEC), RAM 
整数 向 量 piv(1:n — D) GERE E 3 +o E P, = 4,8) pwl2)=0.4 
AR PAF A £ rok +1 434] piv(&) = 1. 
for k—1:n-1 
if | H(E&, B)! « | Hik * 13, 5)| 
pv(b)-1; H(hb,Ekin)-—H(k-c1,k:n) 
else 
piv(£) =0 
end 
if H(k,2) 40 
t=- Hk+, b )ZH(k P) 
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for j=4+1:n 
H(A +1.) = H(k t 1,)) + tH(R,j) 
end 
Htkt+1l,k)=t 
end 


end 


该 算法 需要 n? 个 flop. 
4.3.5 Ë Cholesky 分 解 


本 节 的 剩 下 部 分 考 虚 当 A 是 对 称 止 定 的 带 状 阵 时 ,如 何 求 解 
A= = b. H T X #h 18 J AS ia 3: 4 p k. Em, EH H: n] 33 EiT 22 5 2 1 
XJ BK. Fm b EB 4.3.1, 28 A = GG" E A B) Cholesky 
分 解 , 则 G 的 下 带宽 与 4 相同 .这 导致 如 下 算法 , 它 是 算法 4.2.1 
(FEF gaxpy 的 Cholesky 分 解 ) 的 带 状 形式 . 

算法 4,3.5( 带 Cholesky 分 解 :gaxpy 形 式 ) 给 定 一 个 带宽 为 
p ep SEGEE FEA C UT" ,本 彰 法 计算 一 个 下 带宽 为 疡 的 下 三 角 
EG 满足 &=GG ,对 所 有 的 iZ j AG. jik GOG, AB. 

for ; =1:7 
for £ - max(1,; - p):;-1 
A=min(k+ p,n} 
A(CG:A,))  ACRjSA,J 3 O AG PAQ A,B) 
end 
A — min 7 + p.n) 
AGIA FI HAGA) AG 3) 
end 
如 果 sc» p 则 此 算法 需 n(p*+3p) 个 flop 和 za 次 平方 很 运算 . 当 
然 在 真正 实现 时 应 为 A 设计 恰当 的 数据 结构 .例如 ,如 果 仅 存储 
A 的 非 零 下 三 角 部 分 , 则 一 个 {p+1) x RT CX. 
1.2.65). 
如 果 将 带 Cholesky 438 55 35 “4 I) R — fi Jj ARR S Sh 
' 177 Ă 


合 , 则 解 整个 Az = b ALG np? + Tap + 2n A flop Al n X 
平方 根 运 算 . 当 p (URS KT SR E SE EE PIA PARAS. 
故 最 好 是 用 LDLL 分 解 . Se E, ERT RT AA, AA A = 
LDL1, Ly= b, Dz = y ML z= z RRR AE np t 8np 
t n ^^ flop ifi ELA 4A zt fr O h fm WR . 


4.3.6 三 对 角 方 程 组 的 求解 


iik oc f AERE BE LDL 问题 的 例 上 ,让 我 们 考察 对 称 正 
证 三 对 角 方 程 组 . 设 


1 rer Ü j 
e, l : 
L= 
O --- el | 
fl D= diag(d;.:::,d,) W H 655 A = LDL’ 得 出 
a, = di 
QR, b-1 7 e, 1da | Ë -2:n 
' App 7 dy ekcads-a =de * elek] k=2:n 
十 是 d, Me, 可 这 样 求 出 : 
di =ajy 
for &=2:n 
Ce -| 7 Gg kc i dy pd TAk, k T €R GR) 
end 
可 通过 解 Lys b, Dr= y ME =z KBB Ar = b 的 解 .利用 覆 
zi RT 49 : 


算法 4.3.6( 对 称 三 对 角 正 定 阵 的 解法 ) ”给 定 一 个 nXn Z. 
对 角 对 称 正 定 阵 4 POOR ARR Ax c b M KË 2 OR 
MEE AMT RRL RRA d d:n TP, T Xon smod 
fiee(lin 一 1) 中 . 

for £ —2:n 
Ev 


FE ra n s qa . » N 


£o—e(R —1)5; e(& - 1)= ¿Zd(k — 1); d(&) 
=d(k)-—te(k-1) 


end 
for $ —2:n 

b(k)- b(k)—e(k — Dó(k-1) 
end 


b(n) =b(n)}/d(7) 
for  -n—-1:-—1:1 
b(k) - b(kR)/d(k) - eCk)b(h +1) 
end 
该 算法 需要 8n 个 flop. 


4.3.7 向 量化 问题 


= * fai dir 3 Eth ERE: BICK 8 3 B + 3 [aj REI ETE 
PLAS IB] Bt ¿Wu K #& 55 FS ÀS A. ^E IC E ALPE RS. AT A 
时 候 却 需要 同时 解决 大 量 的 是 相互 独立 的 这 类 问题 .让 我 们 以 
$ 1.4 中 提出 的 观点 来 看 应 如 和 何 安排 计算 . 
为 清晰 起 见 ,假设 我 们 求解 n x a 单位 下 双 对 角 阵 方程 组 
AU vU Lg k=l:m 
Homo? n. RESA ECi:n-1,lia)} M B(C1zn,1: m), H 
E:n- 1, KER A 中 的 下 次 对 角 线 ,B(1:n, 上 ) 来 存储 右 端 
向 量 8‘ 的 第 个 分 量 .我 们 按 下 述 方 式 来 用 解 x ED? 
for £ = 1:9 
for i —2:n 
B(i,k)-B(i,k)— E(i - 14,5) B( i - 1,k) 
end 
end 
ER Ri qc MB FF SR BRE OO fü 27 PE 2H , S e B9 In] Eñ R: A ES fS PF 
是 非 向 量化 的 . 这 是 由 于 B Ci E). BG —1,k) BS ba ws GA RE 
KF k Mi 的 循环 互 换 就 得 到 : 
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for ; —2:n 


for F = 1: 
B(i,k)=B(; ,FE)—E(i— L,)BCE — l, E). (4.3.1) 
end 


end 
3X E VALER T ct ERÁR E p] ai dk. DR A T — XI] a REAA -次 
丫 量 加 法 组 成 . AS ES EL (4.3. 1) EAR SR IH E. ep 
题 吉 通过 接 行 存储 于 次 对 角 元 和 右 端 向 量 来 解决 . 即 采 用 数组 E 
Clim lin -DA BOlim,lin — D, Hj Ek, tin- DOE fé fil A 
的 于 次 对 角 元 ,用 BOR, T: n RAT 5.04.3. D 的 计算 过 程 则 变 
AY 
for i= 2:7 
for 2=1:7 
B(k,i)- Blk,i)~ ECR,i - 1)B(R, i - 1) 
end 
end 


这 青 一 次 说 明 数 据 结 构 对 计算 的 影响 . 
4.3.8 HERERO RUR 


i 面 算法 的 写法 是 基于 ARMA RA Fax n 数组 中 . 
实际 应 用 中 ,可 针对 带 状 线性 方程 组 的 求解 有 效 地 设计 特殊 的 数 
据 结 构 ,以 充分 利用 惩 阵 中 许多 抑 素 为 零 的 特点 .回想 1.2.6 PR 
NARA DR A 的 下 带宽 为 p, 上 带宽 为 g, 则 矩阵 可 以 用 一 个 
(p+g+1)Xx n RA. band 来 存 届 ,其 中 位 于 带 上 的 元 素 a; ff 
“FA bandli- jitg ti, a). TREXX AKA. band 的 第 5 AEH 
A 的 第 ; SUSIE SOR 1.2.8 TALL ie A — PB EET A E 
用 一 个 一 维 数组 A., diag 将 & 按 对 角 线 存储 ,木管 采用 哪 种 数据 
结构 ,涉及 带 状 阵 存 储 的 年 阵 运 算 都 要 尽量 减少 下 标 换算 的 开销 . 
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4.3.1 导出 一 个 类 似 于 算法 4.3.1 的 带 型 LDM 分 解 算法 . 

4.3.2 说 明 如 和 何 将 算法 4.3.4 产生 的 结果 应 用 于 解 上 Hessenberg 阵 方 
程 组 Hr h. 

4.3.3 给 出 :个 用 列 选 主 抑 的 高 斯 消去 法 来 求解 非 对 了 称 三 寺 用 方程 组 
Ar— b MBER ,要 求 只 使 用 + 个” 阶 评 点 数 向 质 的 存储 空间. 

4.3.4 对 于 CEE ZAR m (Ci) 7 niuij:co, 701, E rh i 
= i:n WFR A — GG' EA BY Cholesky AM F i= llin fim(A,7) 
=m(G,i). (RII G HA 有 相同 的 形状 .) 

4.3.5 HE AC VBA ERAA m, = mGA .::2,:E m i— 0: n. 
EEA 存储 于 一 维 数 列 v Prue (ansa, 27728222 43. 77 s Uym T1 
a ,编写 一 个 算法 ,用 Cholesky 因子 G PA oo J: 8E 25 o , AS RE 
结果 解 Aro. SE flop? 

4.3.6 MF C€ sn rE (C, i) -maxlg:c, 2501, BE A 存在 LU 
AS LU AA 

MAD Si m(A,2) SE c m m (Aan). 

BÜA.1) s BCA,2) zoo x p(A,n). 
证 明 对 Slin A m(A./2— m(TL DA ACL) = plum (A, i) E 
XO 4.3.4 

4.3.7 BAE 4.3.1 KET gaxpy 运算 的 形式 . 

4.3.8 RHPA PT In] BIH BSR PR IFE —= MAE 
组 AGO LU = VU EHSOSE fh o6, EE RIAA WI TE RECTE 
“OD EAB be ORE. 

4.3.9 HARM RE RTEA iA IE 4.3.1 

4.3.10 £i — t 3X 3 对称 正定 阵 的 二 对 角 部 分 不 是 对 称 正定 的 倒 


T. I 
4.3.11 IE Ar= b [p], Hon 

2 -1 0 -e 0 一 1 

一 1 2 —1 `. Ü 

0-1 2° : 

A = . . ， ， 

: * * . Ü 

Ü .. 2 l 

i—1 0 Ü 一 2 
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Jš SE (E BA E33 PE DS VL A (EA A 是 奇异 的 ， 
《b) 给 出 à JAHR OL BC EF TEER RE RTE 个 算法 求解 .{c) 假 设 
nA EBAR p=le eese a epo], EP ¿o E r 的 第 列 . 试 描 
SA PTAPC Pc) = Pip, 并 给 出 解法 {假定 解 存在 并 忽略 选 主 元 ). 
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84.4 对称 不 定 方程 组 


- -个 对 称 阵 ,如 果 其 2 次 击 四 TAX 既 可 取 正 值 又 可 为 负 值 ， 

则 被 称 为 不 定 的 .尽管 不 定 阵 也 存在 LDL! 分 解 ,但 其 矩阵 央 子 的 
元 素 可 能 任意 大 ; 

e 17 [ 1 ONE 0 1 o7 

ol" lA illa Als ' l 
当然 ,$3.4 中 的 选 主 元 法 都 可 被 用 来 解决 此 问题 .但 这 会 破坏 对 
称 性 饲 时 也 会 破坏 掉 寻 找 “Cholesky 速度 "的 不 定 方程 组 解法 的 机 
会 .对 称 选 主 元 方法 ,即将 数据 以 A 一 PAPT 形式 重新 组 织 , 必 须 
如 4.2.9 节 讨论 的 那样 来 使 用 .不 幸 , 对 称 选 主 元 法 并 不 总 是 能 保 
证 LDL 讨 算 的 稳定 性 . 如 果 sl We. 和 依 很 小 , 则 无 论 什么 P, E 
阵 

El 1 
| A = P| | (et 
的 对 角 元 素 依 然 非常 小 ,分 解 总 会 出 现 大 的 数 . 对称 选 主 元 过 程 
中 , 主 元 总 是 从 对 角 线 上 上 选取 的 ,如 这 些 数 比 需要 消 零 的 非 对 角 元 
小 的 多 ,就 会 引起 麻烦 .内 此 对 称 选 主 元 的 LDLT 分 解 不 能 作为 求 
解 对 称 不 定 方程 组 的 可 靠 方法 .看 来 , 选 主 元 时 要 考虑 非 对 和 角 元 同 
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时 又 要 保持 对 称 性 性 一 个 挑战 . 

本 节 我 们 讨论 是 种 面 痢 这 -挑战 的 方法 .第 一 神山 Aasen 
(1971) 旬 出 , 它 进 行 如 下 分 解 : 

PAP! LTL! , (4.4.1) 
MP = CL, ab AP Pe, T 是 三 对 角 阵 . P 是 能 使 |7, | 所 1 
PRM. 与 此 相对 应 , Bunch 和 Parlettf(1971) 各 出 的 对 前 选 主 法 
计算 置换 P 使 得 

PAP'= LPL!, (4.4.2) 
HB DAH EX 1 利 2x2 的 块 构成 的 块 对 骨 和 矩阵 .同样 ,P 的 选 
取 使 的 下 三 角 阵 LL DARE | 所 4 两 种 分 解放 法 部 需要 n3 
个 flop. 一 旦 完成 分 解 央 可 在 O(»^) TAF a RS Ar = b: 
PAP! = LIL .Ts = Pb,Tw = z L'y = wr = Py>Ar = b, 
PAP! = LDL'.Lz — Ph, Do = z, L'y = o, = Py Ay = b. 
在 这 些 求解 过 程 中 需要 讨论 的 “新 ”东西 是 TeS z 和 Deo= z 的 
解法 . 

在 Aasen 方法 中 ,对 称 的 不 定 三 对 角 方程 组 Tue = z 可 应 用 
EET ARÄ ARTO E ARE. 清 注意 在 此 层次 上 
忽略 对 称 性 不 须 付 出 很 大 代价 ,因为 整个 开销 为 O(n3). 

在 对 角 选 主 元 法 中 ,Dr = < 方程 组 相当 十 -- 组 1xl 和 2x2 
对 称 不 定 方程 组 .2x2 的 问题 可 由 选 主 元 的 高 斯 消去 法 解决 . Bi 
次 说 明 的 是 ,在 这 OC Ri FET PE ERAT ARE. 

因此 本 节 的 核心 问题 使 是 如 何 有 效 地 计算 分 解 (4.4.1) 和 
(4.4,2), 


4.4.1  Parlett-Reid 算法 


Parlett 和 Reid(1970) 给 出 了 如 何 用 高 斯 变换 计算 (4.4. 0). 
我 们 用 n = 5 的 矩阵 在 第 大 =2 步 的 执行 情况 来 说 明 这 个 算法 .在 
这 步 的 开始 年 阵 A 已 被 化 为 
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ia; B 0 0 0 | 
Br az vs 4 | 
AMV=M)P,APIMi=|0 v4 X X xX, 
Ü v4 X X | 
Ü ug X X X 
其 中 置换 阵 P. TE REE M. BCR AA 1. EE 
03,04, 05 中 的 最 大 元 素 , 傅 定 -个 3x3 RR PP, 使 得 


| 9| 
P; va! = (Ua =| č! 2maxllvai.lval, vali. 
m” à] 
ERATE A OWS Mj = P. = 工 并 继续 下 一 步 . 否 则 . 令 P. 
=diag(I2,P2),Mo.=1-a' eT, Hon 
a? —(Q0 0 0 4/8, 54/)54)l, 


则 会 有 
la; B] 0 0 0 
Bí e: v3 0 
A= M,P,APiIMi— | 0 3; x 
| 0 0 x x x 
io 0 x x x 
一 般 地 ,算法 执行 1-2 Sa MAE 
T= Aor?) 


= (M, ;P, zy: MIPOACM, ;P, y MIP I). 
NUE A PP, P 和 
L-(M,;,P,;-M,P,P)!, 
Wi4.4. DREZ. SR LNA WR 1 9 e, HB k NICE 
D) TIS AAR KB 638 Gd M, -的 乘 子 组 成 的 . 
车 想 有 效 地 实现 Parlett-Reid JP 3 ,要 小 心地 计算 修正 惠 阵 
AU = M,CPA* " PDMI. (4.4.3) 
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AY at) FA ids SR AHB are E Ba HE B= Bl Pk n-k Et 
ATI RAGA By — (E - ee BCE wel) HR @ Ele, E 
I, AS ALERIA. 4 DRR C. n 
pL 
2 9 
We pEREREE B, = B- wel -- ww! FPR PFE n- ke flop 
内 算出 . A P= 128] £ n — 2 Bid SBI Parlett-Red 算法 共 
fi 22773 个 flop, 这 是 我 们 所 期 望 的 黄 倍 . 

例 4.4.1 te Parleti-Reid 算法 应 用 于 


w= Be, 7 


0123 
1222 
A= ， 
2235 
i323 4 


Pit lenes ezel, 

Mi= HL - (0,0,2/3,1/3)'e1, 

Pi-leye264.6i],; 

M=- (0,0,0, L/2)T ef, 
H PAP! - LTL!, RP P= e;,e3,¢4.¢2], 


1 O 0 (5 0 3 0 07 
| 1 

0 1 0 0: 3 4 23 Qi! 
L= "1 T=} | . 
0 1⁄4 t 0j 0 2/3 1079 0; 
2/3 172 14 lo 0 0 12 


4.4.2  Aasen 方法 


通过 重新 考虑 Parlett-Reid 算法 中 某 些 计算 过 程 , Aasen 
{1971) 提 出 一 种 能 在 5773 flop 内 解决 {4.4.1}) 的 方法 .我 们 需 
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0 cc Bs -1 Gn 
为 清晰 起 见 , 暂 时 不 考虑 选 主 元 ,假定 分 解 A = LIL! 存在 ,其 中 
L R ied HEB L(:,1)= e. Aasen 方法 是 如 下 进行 的 : 
for ; - 1: 
计算 BIDS. SÉ h = TL'e; = He, 
计算 alj) 
if ;5—n-1 
计算 B, (4.4.4) 
end 
if jn — 2 
计算 LOj4+2:n.7 * 1) 
end 
end 
因此 第 ; 个 Aasen 算法 步骤 的 任务 是 计算 T 的 第 j 列 和 工 的 第 
(j++1) 列 .这 算法 利用 了 十 = TL! 是 上 Hessenberg 阵 这 一 事实 . 
由 (4.4.4) 可 推 知 off). BGA L(j*2:n,j + DRSTER HAE 
h(1:;)= H(1:; RE VETRALUE — B tri BRA. 
考虑 方程 A= LH 的 第 j 列 : 
Afi.) = Les Asp t 1)h(1:j * 1). (4.4.5) 
这 说 明 Aj E L (80; + 1 列 的 线性 组 合 .特别 地 ， 
A(j+l1:n,j)= LG *1:n,1:)2A50:7j) 
+L(j+l1:n,j t DAQ +j). 
如 果 我 们 计算 
v(j 1n) - AG tin j)-LGtliasdlipadiy), 
则 
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L(j*3:n, j^ Dh(;j4 D 7 v(j* 1:n). (4.4.6) 
Abb L (j 2:n,; 1 DAE ol; A 2:5 PHAR. PAN L 是 单位 下 二 
HIE, Hi (4.4.6) 8 
ul c1)2hCo 1 D. 
于 是 从 同一 方程 可 得 到 求 工 的 第 C+ 134 
L(j *2:1n,j*1) 2 v(; *2:n)/Zv(j +i). 
请 注意 L Hlin, j + 102€ gaxpy jatt, 

接 于 来 给 出 求 aL SC Za. RAB H = TL! 中 的 
GMG rl. ES MAAS BOO) =0, 我 们 发 现下 (7 )= 
BG - DEG, - D+ eG MAG +H eG +1), Fa 

aG)-h()) -BG- DLG.;-D, 
BG) =e * 1). 
由 上 我 们 可 以 号 出 完整 的 Aasen 算法 : 


for ; —1:» 
计算 At GTP p= The, 
if ;=1V;~-2 
alj =A) 
else 
a(j) -hG)) - BG -DLCGj,; - D 
end 
if jn — 1 (4.4. 7) 


ulithian) SAG Tinj)- LO tlin lp acs) 
B7 v(; * D 

end 

if ; xn — 2 
L(j32in,j4 l)—v(j * 2in)/u(j * 1) 

end 


end 
iE TS PEK A DR BO. 由 (4.4.5) 得 
A(1:5,))— Li, 1p ale; ). (4.4.8) 
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AFORE Was I OF A E SL RT A ROK SE hilg). 
然而 利用 方 种 H = TL 的 第 j 列 可 以 得 到 求解 日 (1:;,7) 的 于 有 
效 的 方法 .确切 地 说 ,约定 BOOOL (5,0) =0, MAF & — 1:5.3X TT] 
有 

ACR) =B(R-ULG.E-1) +t a(E)LC E) - BRIL, k +1). 

BY £= 六 这 公式 可 直接 用 来 计算 ,因为 我 们 还 设计 算出 o C UR 
BG). 8&IEI— B. AL 一 中 已 知 , 可 由 三 角 方 程 组 (4.4.8) 最 后 一 
PRE hG), EI 


gol 
RG) = AG,- DLG RAC). 


综合 上 面 结论 ,用 数组 (l:n RA LG 127). 4.4.7) PY 
下 (1:7 的 求解 过 程 如 下 : 
if ;=1 
h(1)= A(1) 
else if ; =2 
h(1)- BD: ^h (22 7 AC2,2) (4.4.9) 
else 
1(0) 20:7(1) 20;7(2:; - D L(9,2:; -1)sfG=1 
hg) - AG.) | 
for £ -1:;-1 
h(R)— B(k - DICE - Dt a(EMCR) + BCE)ICR + 1) 
ACs) - hlj) ICROh CR) 
end 
end 
注意 ,用 这 个 OG HATERS allaj), Wft(4.4.7 B8] EXT 
作 是 求 vlj 1:028 gaxpy iz EE. YES ; 步 中 ,gaxpy 08250 - 7) 
个 flop. 累加 = 1: » 可 知 Aasen 算法 需要 773 个 flop. 因此 
Aasen 算法 和 Cholesky 算法 的 运算 量 是 相同 的 . 
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4.4.3 选 主 元 的 Aasen 方法 


现在 我 们 知道 工 的 列 是 出 (4.4.7) 中 的 向 量 做 数 蒋 得 到 
AY. in SE3IECT EA FTA, eA UE oC + DIR AD BE] 
AG BEL. AGB fe th Ale F nl SE, ot li PRIOR 
置换 到 最 上 面 , 当然 ,此 置换 变换 必须 恰当 地 作用 于 A 的 未 约 化 
部 分 和 上 的 己 计 算 部 分 . 
算法 4.4.1(Aasen FIE) eR AC "Raps, WAR 
法 计算 出 一 个 置换 阵 也 ,一 个 上 三 角 阵 和 一 个 三 对 角 阵 丁 ,使 
其 满足 PAP=LIL',A|L(i,j) 1, ERE P HAY piv 
来 标记 . 确切 地 说 , P= Pin, PL AP P 是 将 单位 阵 的 第 
pivi j AEA +1 行 互 接 所 得 .下 的 对 角 元 和 下 次 对 角 元 分 别 存 
Fain) Bll:n 一 1) 中 ,只 计算 上 L(2:n ,2:n) 的 下 次 对 角 线 
部 分 : 
for ;=1:% 
H(4.4.9)F 8 A C1:7) 
if ;=1Vj=2 
a(j)- h(Cj) 
else 
alp =A D 7 BG- DLG.3-D 
end 
if jai 
v(j tlian =A tlin j LGA 1in,1:3)hC1 y) 
找 ç ilolo = l| vl tlin) ll «C; t Eg n) 
piv(j) = gsv(j t Devla L (j+ 1.2: LCG2:7) 
A(jtl,jtl:in)**A(q,) * 1:2) 
ACj*1in,g t+ DAC 1:0, q) 
Bj v(;*D 
end 
if jn -2 


—— mam m nr rr wa 


LG t2:n,ptl)—w(;t2:in) 
if vlj + 1220 
L(jt2in,;*1) = L(j *2in,j9 D/v(j *1) 
end 
end 
end 
Aasen 方法 与 列 选 主 高 斯 消去 法 在 间 样 意义 本 是 稳定 的 .这 就 是 
说 ,可 以 得 到 -- 个 靠近 A 的 矩阵 之 精确 分 解 ,只 要 
l T1271 A zt, rh TR XS PET 的 计算 值 .通常 ,这 个 结 
论 几 乎 总 是 对 的 . 
在 Aasen 方法 的 实际 执行 过 程 中 ,有 用工 MTERA 的 下 三 
前 部 分 .下 面 是 ”=5 的 情形 : 


isn ts, ls4 fpa Gs 


注意 在 此 工 的 列 均 向 左 移 了 . 
4.4.4 对 角 选 主 元 法 


TEES LDLT 分 解 (4.4.2) 的 计算 .我 们 仿效 Bunch 和 
Psrlett{1971) 的 讨论 , RE 


E C s 
PiAPT= | | 

C B n-2 

s wt s 


其 中 P, 是 置换 阵 且 s= 1 或 2. 如果 A 是 非 零 的 , 则 总 可 以 挑选 
这 些 量 使 E 菲 奇 异 ,从 面 我 们 可 与 成 


+ I, 0 [E 0 L E !C 
P I AP í = -1 -i | ` 
CE L ,i.0 B-CE CI 0 B- 
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考虑 到 稳定 性 ,s xy KEENE 的 选取 应 使 得 
A-(d,)5B-CE'!C (4.4. 10) 
中 的 元 素 a, WORT TEL Du lt, Ey a € (0, D EL ERE ENRE. 
Ho TMAX &,,, , 
Hg = max a, l, 
Buneh-Parlece H 6:56 Jr tin F; 


+ — 
If pato 


s= l 
选取 P (di 49 ley | — fey 
else 
s=2 
选取 使 得 1e211 = fto 
end 
由 (4.4.107 容 易 证 得 ,如 果 *=1, 则 
|a IC t SESS (4.4.11) 
£r s=2, Ml) 
d, Jet uy. (4.4.12) 


FA- a !)?*53í3-a)/i — a ARS, C1 — 970132 是 对 应 于 
Wi s= 1 的 增长 因 F,(3-a)Al—-@)# «22 的 增长 因子 ， 
Bench # Parlett iB à — (1 + V 17) 78 是 在 极 小 化 元 素 增 长 界 的 
意义 下 之 最 住 值 . 

然后 ,将 上 面 给 出 的 约 化 过 程 用 到 n- 5 POOR REA. 利用 简 
单 的 归纳 法 可 知 ,(4.4.2) 的 分 解 存 在 , 且 如 不 考虑 先 EIM THE 
量 , 则 分 解 运算 需 33 个 flop. 


4.4.5 稳定 性 及 效率 


Bunch(1971) 证 明了 上 上 述 对 角 选 主 元 法 是 可 完全 选 主 元 的 高 斯 

省 去 法 问 样 稳定 的 .不 地 的 是 ,整个 过 程 却 需 做 ,3⁄42 Bl 

较 运 算 ,因为 在 每 步 约 化 Ho bE 2 — HERS xm. SE BRAY EE EF ORR AE ü 
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— s e 
—— n oe MM 
———arsH-sP-T-*+ 


2x2 OR xui H, IB a Fit (4.4. 22 89 Bonch-Par- 
lett 方法 要 比 Aasen 法 惕 的 多 ， 参见 Barwell 和 George (1976). 
Barwell 和 Kaufman 的 对 角 选 上 上 元 方法 却 椒 存在 这 个 问题 .他 
们 的 算法 中 每 步 约 化 仅 需 搜索 两 列 . 等 起 约 化 的 第 一 生 便 可 充分 
说 明 这 一 技巧 . 
a—(l ty 17)/8; Az lal “maxi lazis lanli 
if A>d 
if |a,,|22aa 
s=1;P,=I 
else 
o= lapl = maxilar lilar- l olarai rls dn | 
if o| ap aA? 
s=1,P,=1 
elseif | a,, | ac 
5 二 1 ,选取 P, (HIR PIAP h= an 
else 
s 二 2, 选 取 P, 1875 PTAP 217 an 
end 
end 
end 
Barwell 和 Kaufman 算法 总 体 上 需要 n° /3 > flop, O( n? RGR, 
Fil H 31 r Rb Bn? 2 A TEE SR C. 
例 4.4.2 wR Barwell-Kaufman 算法 应 用 于 
) 10 20 
A= 1 1 30|, 
0 30 1 
M—F A A =20,7 =3,6=30,p=2. E P=Tes,ez,el 19 
EARRA | 


"1 30 20 
PAP'= |30 1 10}. 
0 10 1i 
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然后 一 个 2x2 8) X LH] RP A hoe F £5 Ay, 


[d 0 0if1 30 0 
PAPT=, 0 1 ^ 30 1 0 | 
| 315 .6563 1|10 0 -11.7920 
l Ü MB 
0 1 Oj. 
.3115 .6563 | 


4.4.6 关于 平衡 方程 组 的 说 阴 
有 一 类 重要 的 对 称 非 定 和 矩阵 形 如 
A= |" “| (4.4.13) 
B' Op 
n p 
其 中 C 是 对 称 正定 阵 ,B 是 列 满 秩 的 .这 两 个 条 件 保 证 A 是 非 
5 Ami. 
当然 ,本 节 的 那些 方法 同样 适用 于 4. 们 是 这 些 方法 没有 利 
用 上 这 类 矩阵 的 特殊 结构 ,因为 选 主 元 方法 破坏 了 (2,2) 位 置 上 的 
0 块 ,下 曾 的 方法 尝试 利用 A 的 分 块 结构 特点 : 
(a) 计算 CC 的 Cholesky 分 解 C= GG! 
(b) AGK=B fH K € un? 
(c) 计算 K'K—B'C ! B 的 Cholesky 的 分 解 HHT — KK 


a=(° MM K | 
K' H![0 -HT 
理论 上 ,这 种 三 角 分 解 可 用 来 求解 平衡 方程 组 : 
p MM d (4.4.14) 


然而 ,考察 (b) 步 和 (c) 步 串 清 楚 看 到 计算 解 的 准确 性 依赖 于 
ct), 且 其 值 可 能 比 <(4 ) 大 得 多 . 大 们 已 对 这 一 情形 进行 了 他 


于 是 


~ 


air 2 BT IER TES AAR A. ded W AS Br i SI Hi Y ut. 
方面 文献 的 简要 回顾 . 
在 结束 本 和 节 之 前 考虑 (4.4.14) 的 -个 特例 e B9 98 E S 28 HH 
一 个 算法 是 稳定 的 意味 着 什么 和 扰动 分 析 如 何 能 够 引导 人 们 寻找 
更 好 的 方法 .在 许多 重要 的 应 用 场合 2 一 0,C EXAM, Be F 
HRE y 是 非常 重要 的 .对 (4.4.14) 做 变 搞 ,y 可 表示 为 
»-(B'c 'B) !B'c f. (4.4.15) 
此 式 看 上 去 再 一 次 让 我 们 党 得 x(C) 对 计算 出 的 y 值 的 准确 性 有 
影响 .但 是 ,可 证 明 
| (BIC ^! B) 'B'C || <ó, (4.4.16) 
其 中 上 界 ¿a 是 与 C 无 关 的 ,这 表明 y HFC his E: x SR 
的 .求解 此 向 量 的 稳定 方法 应 遵循 上 述 原 则 , 即 计 算得 的 y 值 应 
是 不 依赖 于 C 的 . Vavasis(1994) 给 出 了 一 个 具有 该 性 质 的 方法 . 
它 涉及 仔细 地 形成 — h VE ero?) Ba ee BTC 
零 空 间 的 一 组 基 . 然后 ,求解 n x z 线性 方程 组 


[B vil?l-. 


这 得 证 f= Byt Vo. FÆ B'C ! f- B'C By b 528(4.4.15) 
3f. 


2] # 


4.4.1 证 明 :; 如 果 一 个 xxn SRR A B21x 1 和 2x2 阶 主子 阵 都 
是 奇异 的 , 则 A AFER. 

4.4.2 证 明 : 如 果 和 是 正定 的 , 则 Bunch-Kaufmen RK PAS H 38 2 X 
2 dim. 

4.4.3 重新 设计 算法 4.4.1 WITRE hz k A 的 下 三 角 部 分 ,对 
j=l:n KaR AG DIM = En-11 BGB AGE, j 
Zin- 1$ i7 j * ln, EL LG ME SR AG, j=l). 

4.4.4 假定 ACR” "Rd 8 SERO RAP P8 h o9. S — 7h 
算法 计算 下 面 分 解 : 
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Maire w—ravar Em ey 


nar -|F ^? ibi s, 


-5 - Milo anl 
其 中 RC Ftp age 


Cr 1: J ' 


"OSE ay FIDE, I E RE. 
4.4.5 ”证明 ;如果 


[An NI 
A= 
-Åz 一 Av P 


n P 
是 划 称 的 并 日 AN 和 AS EEEH, A 存在 一 个 LDL OR Ue 


Di "| 
p -| | 
0 D, 
中 ?的 对 骨 元 都 为 正 . 
4.4.6 证 明 (4.4.,11) 和 {4,4.12). 
4.4.7 证 时 -(BIC B) E ARIO 


其 中 了 PE ADE 


2th HP A H(4.4.13)25 
H. 
4.4.8 本 题 上 性 谍 (4,4.15) 的 特殊 情形 E X HE: 


Mla) = (B'c 'R) pte 1， 
其 中 C-, + agel), 


a> FA a - EC QCKEC 是 将 a 加 到 单位 
PERT CA PTL). BR BE: ” OPN p, 证 明 

M(a) = (BTB) 'B'( 1, - Tree"), 
EP w-,- BCBTB) |B") e,. WEHA: tO I e —0 8€ il w [>= 1, RU] 
| Mia) |ls=J/e,,,(B), 如 时 0« |l se | < 1. BH 

| | 

IMG) la < mas us + Ta; [ees 

Kit || Mta) [5 有 着 与 a XXI ER 
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$4.5 分 块 方程 组 


在 许多 应 用 中 出 现 的 矩阵 都 具有 可 利用 的 分 块 结 构 .作为 一 
个 例子 ,我 们 讨论 形 如 
D, Fy `°“: 0 Tı K 
E D ^ : X 
to ?| = > (4.5.1) 


Ü UT E, -1 D, # b, 


II pa a! are r dh 


的 分 块 三 对 角 方程 组 .在 此 我 们 假定 所 有 的 分 块 都 是 gxg 的 ,< 
Ab, 都 属于 心 ?. 本 节 我 们 讨论 求解 此 类 问题 的 分 块 LU 方法 和 称 
作 循环 的 化 的 分 而 治之 方法 ,同时 简单 介绍 Kronecker 积 方程 组 . 


4.5.1 分 块 三 对 角 LU 分 解 


J:3E 35 8 (4.5. 1) PAR PE AT RS L.J 分 解 .定义 分 块 二 对 角 阵 
A, 为 


D, F, T 0 | 
A; = Ei Da § i, o kslin. (4.5.2) 
F,.1 
0 E,- Dy a 
比较 
I OV, (Ur Fi 0 
L; I Q U, : 
ae : F,-1 
0 L,-, I Ü Ü U, - 
(4, 5.3) 
中 的 分 块 阵 ,可 得 求 L; 和 已 的 算法 如 下 : 
U,-D, 
for i =2:n 
ML;-,U,-,—E,- ,REHLL;., (4.5.4) 
U, = D; — Li -,Fi-| 
end 


RE U, AE EIS, RIERA E X Ain, MER A... . A, 
SESE Ay ERT XXE BEUE TS RULES uE. 
—H5t1 (4.5. 32 B94HRE (4.5. 1) Pet x 可 通过 向 前 和 向 
JE i AR 6. 
yi bi 
for i —2:n 


y= b, TL; i-i 
end (4.5.5) 
从 Ux, = y, EB z, 
for ;-»—1: -1:1 
从 Uir = y, — F, LU REGE X; 
end 
为 执行 (4.5.4) 和 (4.5.5) ,每 一 个 U, PASE CL 19 D ts OR ABE 
X H = P AB Jy BE B xx up al d xe ETE fu Eo AAR. 
然而 这 却 不 能 保证 整个 算法 的 稳定 性 . 只 需 考 虚 分 块 大 小 89 为 1 
的 情况 使 可 看 出 这 点 ， 


4.5.2 分 块 的 对 角 占 优 方程 组 


HSS ARAL, AU, 的 界 , 有 必要 对 分 志 害 阵 做 一 些 
假设 .例如 ,假设 对 ;i = lla 有 分 块 对 角 占 优 的 关系 : 
lor i (TF; H i+ E OS, E, =F y)=0, 


(4.5.6) 

那么 存在 (4.5.3) 的 分 解 ,二 可 以 证 明 工 ; AU, 满足 不 等 式 
IL, || 4 =< 1, (4.5.7) 
llul iS HA, Wy. (4.5.8) 


4.5.3 分 块 解法 与 带 形 解法 的 比较 


到 此 我 们 很 容易 提出 这 样 的 问题 ,为 什么 不 将 (4.5.1) 中 的 第 
MA 简单 地 看 作 是 --- 个 带宽 为 2 一 1 的 gn X gn 的 元 素 为 标 最 
HERRIE? 可 应 用 $4.3 中 给 出 的 带 高 斯 消去 法 解 之 ,这样 求 解 
的 效率 依赖 于 分 氛 的 维 数 和 每 块 的 称 朴 模式 ， 

我 们 通过 :个 很 简单 的 情形 来 阐明 这 一 点 ,假定 需求 解 

rD Fi,1[rs, rbi 
ELE 
其 中 D, 和 D. EXE fS EE, F, LE, E xB kE. uE ST T CBE 
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(4.5.9) 


a 


E n X n AY, UAE LE (4.5. 3) C4. 5. SOR C4. 5. 00 E" n] E 


U= D, 
L,=E,U,', 
U= D,- LF, 
yi7 61, 


y= bs E (Di ! y), 


U;r;-—y 


Dizi Fi rz. 


CAT A) 
【三 对 前 ) 
(五 对 角 】 


于 是 , 山 最 初 的 带 状 分 上 岂 阵 通过 简单 的 2 阶 捧 阵 计 算 便 可 求 得 


解 . 


曙 一 方面 ,将 带 高 斯 消去 法 机 械 地 应 用 于 (4.5.9) 会 内 方程 带 
RA nt 1 而 耗费 大 量 不 必要 的 计算 各 存储 空间 ,然而 ,我 们 指 


tH OE 2] E 36 A D 


P= [er ex +) 62 sens en | 


将 方程 组 行 种 列 进行 置换 ,可 以 发 更 ( 以 ==5 为 例 ): 


x x 0 
X x x 
lox x 
ix 0 x 
PAP! = 0 0 0 
0 0 x 
0 0 0 
o 0 ù 
0 0 0 
Lo 0 ù 


x 


> — = — x x x c 


Ü 


Ü 


@ x ex x x @ @ > 


x C X x x OP = — — 2D 


0 


D x x X © x © 2 2 


x x< C — — = — = = 


X 


(4.5.10) 


xX OF XK > — — — — = 


X 


此 短 阵 的 上 带宽 和 下 带宽 者 为 3, 因 此 对 短 阵 A 的 该 置换 形式 用 


带 高 斯 消去 法 就 得 到 -个 很 合理 的 算法 ， 


压缩 党 宽 的 置换 是 很 重要 的 问题 . 请 参考 George 和 Liu 
《1981, 第 四 章 ). 有关 求解 分 块 三 对 角 方 程 组 的 详细 讨论 ,请 参阅 
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. Varah( 1972) RI George( 1974 ) . 
4.5.4. 分 块 循环 约 化 法 


接 下 来 给 出 分 块 循环 约 化 法 , 它 可 用 来 求解 分 块 三 对 角 方 程 
组 (4.5.1) 的 某 些 很 重要 的 特例 .为 简便 起 见 , 假 定 A 具有 如 下 形 


式 : 
D F -- 0] 
F D ^ i| 
A=]. , . Cp. (4.5.11) 
: .. n E 
Ü "m F p 


其 中 ,FF 和 D E q>x q SERA DF = FD. ARBE on = 2° -1. 
ETE LT AREE ne FB UE), RO SE E Poisson 方 
程 的 离散 化 .在 这 种 情形 下 

-#4 -1 .. Ü 


D = Wo NUN (4.5.12) 
: c. s —1 
0 -1 4: 
HF=-L. #% n 由 网 格 的 大 小 决定 ,通常 可 选 为 具有 形式 n= 
2* 一 1( 当 维 数 不 是 这 种 形式 时 ,Sweet(1977}) 给 出 了 处 理 方法 ). 
循环 约 化 法 的 基本 思想 是 将 问题 的 维 数 反复 地 减 半 , 直 到 得 
到 一 个 关于 未 知 子 向 量 X iB) g X q FH. 这 个 方程 组 通过 标 
准 方 法 解 出 .前 面 销 去 的 c, Fee eRe AR 
考虑 x =7 情形 足以 说 明 方 法 的 - 般 情 形 : 
b= Dr, t Fr, 
b= Fx, T Dz, + Fx; 


b3= Fr; + Dr, + Fry, 
b4= Fry + Da, + Fas, 
bs = Fr, + Drs, + Fras 


rr MNA wr ler ee ——-s — — s aaa F rr c 


ps = Fx; +Dre + Fr}, 
b15 Fr, + Dr}. 
(4.5.13) 
对 于 ;=2;4 和 6, 我 们 分 别 用 FF, 一 DD 和 去 乘 第 i -1 个 ,第 i 个 
和 第 i+1 个 方程 ,然后 将 得 到 的 方程 相 加 ;: 
(2F? — D*)x5+ F’ x, = F(b + b;) - Dbz, 
F? zat (2F^—D)x4* Eae =F(by+ ba) — Dds, 
F? rat (QF? — DP) x4 = F(bs t b+) Dog. 
这 样 ,用 这 种 技巧 我 们 已 将 下 标 为 奇数 的 >, 消去 ,得 到 一 个 简化 
后 的 分 块 三 对 角 方 程 组 ,其 形式 为 
DUx, + FÜR, = pU, 
FOr, + DOs, + FOr, =b), 
FO, + Dg. -BU. 
Hep pW =2r- p? 5 Ft) — p? np ee. A LAR, 
将 这 三 个 方程 分 别 乘 以 了 , -pOm FO. Bea, a 
个 方程 ， 
Q[rO p? -D u- FO (pP + 5(D) - pO pp, 
将 其 记 作 
DA rz = PU 
这 样 循环 约 化 便 完 成 了 , 现在 求解 这 个 (小 的 )g x g 方程 组 得 到 
[5 IS m4. AB +. 和 zs 可 通过 求解 方程 组 
DY x, = pj ~ FY x,y, 
D), = bY -FY x, 
而 解 得 .最 后 ,应 用 (4.5.13) 中 第 一 ,第 三 ,第 五 ,第 七 个 方程 来 分 
别 计 算 riyzayzs 和 和 x7. 
对 一 般 的 n=2* 一 1 的 情况 ,我 们 令 DY =D, FO = p, 50 
= 已, 然后 进行 如 下 计算 
for p=1:4~-1 
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mikar lm: A ee ERREUR ~ ~ 


Flips [Rte op 
pie ee aa ipn 


p = 2P 
for j=1:2% ^-1 (4.5.14) 
pip = FH (tp Da bU) _ Dti? Dpio-U 
end 
end 


然后 ,zx, 由 下 而 的 计算 过 程 解 出 : 
从 DY Dae = b|“ D AUR à 1 
for p-&-—2:- 1:0 
r= 2” 
for j= 1:26 ^! (4.5.15) 
if j=] 
ecl y, FP xy 
elseif ;-2* ^"! 
c= Oy FP rg 
else 
E= bE y. 一 Fx, tx 2), ) 
end 
从 万 了 7-Dr=ec 解 出 Piz- r 
end 
end 
执行 这 些 递 推 的 工作 量 在 很 大 程度 上 依赖 于 DU FUP 8536 Bi 
性 .在 较 坏 情况 , 当 这 些 上 矩阵 是 满 的 时 ,总 的 flop ON log( n) g Œ 
2. 为 保证 约 化 过 程 的 稳定 性 ,执行 时 须 加 小 心 . 蝎 详细 的 讨论 ,请 
IL Buneman(1969). 
例 4.5.1 44 (4.5.14) P, q— 1, D- (4),F = (-1), 
我 们 需要 求解 
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Ë “18 0 0 0 0O][= [27 
I 4 -1 0 0 0 0 n| 4 
0 -1 4 -1 0 0 oO flexes} le 
lo 0 -1 4 -1 0 0 | [ral =| 8]. 
| 0 0) Ü -1 4 一 1 WI jn 
0 0 0 0 -1 St zej qu 
| 0 0 0 0 o -i allel lz 


通过 执行 (4.5.15) 得 到 约 化 的 方程 组 : 
-14 1 0 [zs] |-24i 

1 ~ 14 1 || » pl, 
L 0 1 -14! |a] L-80 


[-194][x4121 - 776], p=2. 
RW 3j (4.5. 16) T 43 $] rj: 


和 


b= 2: Ta 4, 
p= 1: x= 2, z á = 5, 
p=0: TI= l, x= å, T= 5, zZ-= 7. 


循环 约 化 是 分 调治 之 算法 的 一个 例子 .1.3.8 节 和 8$8.6 讨 
论 了 其 他 分 而 治之 方法 ， 


4.5.5 Kronecker 积 方 程 组 


如 果 Bek" Ce o"? Wie X. Kronecker 积 为 


| ue boC cs BE 

aC boyC c bE 
A-BGc- |"? 22 me 

b, AC b, c7 5C 


因此 ,4 dk — m Xn ERE AF RA buC. Kronecker 积 是 
Ej ir PLU SC ES f SEK PE), A T ah BE Kro- 
necker 积 所 满足 的 一 些 重要 性 质 包 括 
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(ACOB)(CQOD) = ACCOBD, (4.5.16) 


(AQB) = A'B", (4.5.17) 
(ACOB) ‘=A !@B !, (4.5.18) 
其 中 假定 所 有 的 乘法 运算 都 有 意义 . 
与 Kronecker 积 相关 的 是 “vec 运算 
[ XC:,1) 
XE We” reyel X) = x Cum. 
X(z,n)J 


于 是 ,矩阵 的 vec 的 运算 就 是 它 的 列 向 量 " 堆 "起 来 . 呵 以 证 明 
Y —CXB Tvec Y) = (BC9C)vec( X). (4.5.19) 
因此 ,求解 Kronecker 积 方程 组 
(BOC) z=d 
等 价 于 求解 关于 X ARE CXB =D, HP, r= vel X), d= 
vel D ) ,这 样 若 局 时效 得 了 效率 . LER K ae B, CER” 
是 对 称 正 定 的 .如 果 把 A = BOC 看 作 一 般 矩 阵 ,进行 分 解 以 求 


x , 则 由 于 BOCE” ,所 需 工作 量 为 O(n5) 个 flop. 8-H 
面 ,如 按 下 面 方法 求解 

1. 计算 Cholesky 分 解 B = GG! # C = HH', 

2. AAG ABZ =D" #8 Z, 

3. 4A HACK=Z!' uh X, 

4. m= vec( X). 
则 需 O2) flop. 注意 到 

BOC = GG'COHHT = (GCOH)(GCOH)! 

BOC Cholesky 分 解 , 这 是 因为 两 个 下 二 和 角 阵 的 Kronecker 
积 仍 是 下 三 角 阵 .因此 上 述 四 步 求 解 过 程 是 应 用 于 BOC 的 利用 
Zi Hmm) Cholesky 法 . 

有 必要 指出 ,如 果 BIB, NA Ar h EIEBCOC 也 有 相 
OR BE. Alin, we B 是 三 对 角 的 , 则 BCOC 是 分 块 三 对 角 
的 . 
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>] 题 


4.5.1 As fü di feo PEE SERES. 

4.5.2. Bue (4.5.6) HE 18 (4.5.7230 (4.5.8) 

4.5.3 设 将 分 块 循环 约 化 法 应 用 于 人 4,5.12) 所 给 定 的 总, 且 有 下 = 
-了 下, 则 产生 的 矩阵 FOA DO RAT CRB A AR 55 E? 

4.5.4 BE ACH RIA HH, HATED BA Az b fl Ay= zg A 
JEE rR beg = "62 TE O(n) > flop 内 解 方 程 组 


A glfa b 
is NIME s] 
其 中 a POR MACH "He. RRS A. EAR. TR AEREE 
AHE- S ARBRES. CHAF AHA, WAFA UI REAR. 
4.5.6 证 明 (4.5.16) 一 (4.5.19) 
4.5.7 RAMA BAC 的 SVD 分 解构 造 BOC 的 SVD 分 解 . 
4.5.8 WÈ A,B ANC ABE, WOE CACOBOCOC = ACOC B® 
CC, 于 是 我 们 可 以 只 用 ABOC RRA T ABER. ULBHOS A,B AC 均 对 称 
IE RES , Aik EC ACOBOOC) r= d. 
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$4.6 Vandermonde 方程 组 和 FFT 


假定 rOin) EEr t, JE a 


V= V(rg, uam) + + * 


leot oo a 

RE VC sint DG? D Bb ed E Vandermonde 4& Be. 本 节 我 们 讨 

沦 如 何在 Oln?) 个 flop 内 求解 Vla = fo f(0:5) Hl Vz = b = 
" 209 . 


bCO: n MR], [R] at SA PZ RBA Fourier VEA. ix hp PSK RIR 
重要 的 Vandermonde 方程 组 具有 递归 的 块 结构 可 在 OC nlogn ) t 
flop 内 解 出 .末节 中 的 向 量 和 答 阵 下 标 均 从 0 开始 标记 . 


4.6.1 SWAB: Vla = 


Vandermonde 方程 组 出 现在 许多 近似 和 插值 问题 中 .实际 上 ， 
快速 求 得 Vandermonde 方程 组 的 关键 是 要 认识 到 解 Vila = 三 等 
价 于 多 项 式 插值 .这 是 因为 ,如果 Vla = f BR 


pla) = > om， (4.6.1) 
则 对 于 i=O:n, A plc, =f. 
an X, Bus, 则 nf Xf $H [EL EX Cara, fod Crus tn ;构造 
一 个 惟一 的 n PEGA ARE .rz 是 五 异 的 , 则 VW 是 非 奇异 
BJ. 在 整个 这 一 节 我 们 都 假定 此 茶 件 成 立 . 
TEE (4.6. 1) a, 的 第 一 步 是 计算 捅 值 多 项 式 思 的 牛顿 表达 
AX 
p(x) = Ladle 一 x,) (4.6.2) 


k-i] 


常数 c, 是 差 商 ,可 按 下 面 步 又 来 确定 ， 
c(0:n)-— f(0:n) 


for £ -0:n-1 
for ;—-n:-—1:£ T Í (4.6.3) 
cj = (e, 7 e, A £i xi 2g c1) 
end 
end 


Z& V, Conte 和 de Boor( 1980,58 — 3& ). 
下 一 步 任务 是 由 c(0:x) 来 产生 a(0: n) ,通过 选 代 
p. (z) = c, 
fork= x -1: — 1:0 
pp Ce )= ec t Ca — r )b (z) 
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end 
来 定义 多 项 式 pr). polr) 我们 观察 到 Pola) = plz). S 
出 
fix a4 alia + eb a tly ch 
SHE pHa t (r — ni )p Pao HARE KAS , BAEK ig 
求 系数 al 的 递 推 关 式 ; 


at) = c, 
for £=n~-1:-1:0 
a? = c, 7 x, als? 
for ;—bk*1:zn-1 
af) = a ay afi] 
end 


aP = ght) 
end 
于 是 ,系数 a; al? TRE m zb SCR (8 
&(0:n)-7 c(0:n) 
for k —-5»—1:—1:0 
for i=kin— 1 
A; = a, 一 Tia (4.6.4) 
end 
end 
将 此 迭代 法 与 (4.6.3) 合 并 得 到 下 面 算法 . 
算法 4.6.1 WE r(0:n)€C R" ERER HAE, f= rO: 
n)OR"*! AAEE Vandermonde 方程 组 V(rg,7,x,)la = 
fWRa=alOin) ERARE FY. 
for b —0:»-1 
fori-n:—1:k +1 
FSF- fü -D/GG)- x(2-&—1)) 
end 
end 
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for &—-n — 1: - 1:6 
for 1 = &:n-l1 
fli) FD FU t Pale) 
end 
end 
本 算法 中 需 3n02 2 lop. 
例 4.6.1 6.1 来 求解 


ri i DI Bi 
1 2 MEN 
13 9 2| ia| |58 
11 4 16 64! Lag! H12 


&—XkdsAEs pix asf RUP A 
px) = 104 1666-1) SC - DGr 72) t Gr - DGx -2)(r-3), 
Boke 特 环 由 [10 16 8 Il MA a-[4 3 2 1T. 


4.6.2. Æi Vz = 的 方程 组 


现在 考虑 方程 组 Wz = 5. 为 导出 解 此 问题 和 的 - 个 高 效 算 法 ， 
我 们 用 上 矩阵- 向量 语 言 来 刻画 算法 4.6.1. 定 义 焉 双 对 和 角 阵 Teka ) 
eet OK Oar F; 


以 及 定义 对 灸 隆 De 为 
D, = diag(1.- nr Theil Lose ky T T, a: 


METER f= f(0: x ) A c = c (Ü: + ) 2 
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MEME II 


差分 向 量 . 则 = U FH U 是 上 二 角 阵 ,其 定义 为 
U'-D,',L, (1) D, (Eo). 
类 似 地 ,由 (4.6.4) 有 
a-Llc, 
其 中 工 是 单位 下 三 角 阵 ,其 定义 为 
L'- Lor) E, aC, f. 
TR.a-L'U'f£,Hii yv T= 上 Li1UT. 挽 各 话说 ,算法 4.6.1 XE 
中 利用 了 V ”的 UL 分 解 来 求解 VY'a= f. 
E i, Vz = p 方程 组 的 解 为 
z= Vb = U(Lb) 
= (Lali) Do! L, 4UOTD, (L (an bela). 
通过 以 上 观察 得 出 下 面 的 算法 
算法 4.6.2 给 定 r(0:n)C "有 互 异 的 元 素 且 万 = 
b(0:n)C V" '!, RBM Vandermonde 方程 组 V (rp, U, jz 
=b f ES — z(Ü: n X E Z b. 
for £ —0:n—1 
for ;—:-—1:&5*l 
bCi)y-b(i)- x(kb)b(i 1) 
end 
end 
for: =n-1:-1:0 
for ;—£& -1:n 


b(i)-b(i)/(xr(:1)—- ali -RB—1)) 


end 
for ;- &:n- 1 
bCi)-b(i) -b(i * 1) 
end 
ARIA 5272 个 flops. 


例 4.6.2 假设 用 算法 4.6.2 RH 
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— Pn — rr rp 


rt 1 1 1] |u | 0 | 
12 3 4 "lp 
14 9 16/z n 
ly 8 27 elg] Las 


第 一 次 上 PITRE X 
0 

-1 -1 
L;G)LiGO)Lj;(C) 3 k 6 | 


第 二 次 到 锋 环 则 计算 


Ü 3 
orm y 74 .. 
j 


4.6.3 稳定 性 


Björck 和 Pereyraf 1970) 对 算法 4.6.1 和 4.6.2 作 了 讨论 和 
分 析 . 他 们 的 结论 是 这 两 个 算法 经 常 得 到 令 人 人 隆 惊 的 精确 解 , 即 使 
V 病态 也 是 如 此 .他 们 指出 当 插 值 点 集 上 增加 一 个 新 插值 对 
(rrrt; 记 +1) 时 ,如 何 修 改 已 有 解 . 合 时 还 给 出 了 如 何 求 解 汇合 
Vandermonde 方程 组 , "E: #Ë A JE an 

[| 1 1 
Ty o TI l zs 
V — Vto ti 2.23) = | 2 


| xà r 


的 矩阵 . 
4.6.4 快速 Fourier 变换 


n 阶 的 离散 Fourier E48 (DFT) EX A 
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F,— (fa). Sin 7 art 
其 中 
ex, = cxp( —2xi/4) = cos(2xZn) - v sin(2zxZn ). 
由 于 wt =1 , 故 参 数 o, BLA n Xj. neh, o -i 08 
1 1 ] ] 


I l 1 1 

y l wa wi wi ofi -i -1 i 
^ di wy w at ofi -1 1 -1 
Ll wi wf wi 1 l 1 >i 


如 果 +€ C". WH DET 为 向 量 Fer. DET Erid 时 学 和 工程 中 扮 
演 着 极其 重要 的 角色 . 

WR n 有 多 个 因子 ,那么 执行 DFT 运算 可 能 概 比 常山 的 从 
阵 -向量 乘 法 运算 所 需 的 O(n *) 个 flop 要 少 得 多 .为 说 明 这 一 点 
我 们 令 n —2'.fA m 5 ib 2 基数 快速 Fourier FR. PEE — FB 
AS DET HM ,对 其 做 置换 ,使 下 标 为 偶数 的 列 都 置换 到 矩阵 的 
前 部 . 当 ”=8 时 ,注意 到 oF = E 5 我们 有 如 下 形式 ， 

1 1 l 1 1 i 1 l| 


1 cu e er tu eu iH e 
1 ‘ne wt co? 1 we ent to? | 

F, 1 " c w wt "PE w? a onus 
iw? d of 1 wt 1 wil? ° 
1 a wo a5 wt w w^ ¿Ë 
1 w? "P tu^ 1 we P w 
1 "P P. " et ae w à | 

如 有 果 定 义 下 标 向 量 <c=[L024613357], 则 
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! 1 1 1: | | 1 ! | 
| w^ wt ^ tr) e "m w 
] e* l a| oó a w [w 
Ft = | 1 四 ”地 e| wj e) e e 
C ns 1 1 ELE -1 —1 -1 
l w? "M wr Ta — co? 一 ar 一 w 
l w | owt} -w -af6 -w w 
bow wt aloe w w — m 


ip EE Be ag BT 已 (0:c ERR- 252 PER, BR 
大 小 为 4x4. 注 三 到 w= ws — aig, HE 


-F, 
Fe 
其 中 
"1 0 
ML 
n 0 
0 0 
TH MR x E-i 8 Hale, W 
F, 
Fer FG Ot 7 [7 
-了 
= 


Q4F, | 
m fl Fa ' 


0 D 
0 0 


QUE, ] em 
— (J F, Jl >r(1:2:7) 
£24 I: PM 
— Na dl Fig (1:2:7) ` 


这 样 AL i 2 a 点 的 DET 运算 yp = Py (0:2:7) F yg 
= F,x(1:2:7)1334 8 AW DET ah y= Fer: 
y(0:4) =sr td. * yg, 


y(4:17) = yp- 


jx H! 
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d. * yg. 


d= ; 
tu} 
a 
A" x "dean ae Ae. CAHN 8 —2m,l] v— F,r 由 下 式 给 
出 
y(0:4) = yr+t d. * yp, 
yCA7) = vr-d.* yg, 
其 中 


dlle, wa FIT, 
vr = FQr(0:2:n — 1), 
Np = Fur(li2:n — 1). 
对 于 a2!  TELSERAATT ES RER 1, MERE Fir = zr: 
function y= FFT( x,») 
if 7=1 
vor 
else 
mn w=e UU 
yr = FFICr(O:2:2),m): yg =FFET(z(:2: 8), m) 
d=[lw, ye" !]T;g—d.* 
-pr 
¥ 
yr x 
end 


HERF Fourier 变换 算法 的 一 种 . 它 有 一 神 非 循环 的 实现 方式 ， 

可 用 F, 的 分 解 来 描述 .实际 上 ,可 证 明 F. = A, A) P,P 
A, = LCOB, , L=2',r=n/L, 

且 

[ba 人 ] 


E AY 
ha “Qa 


L Q, 4 = diag(1,«, , ya 
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PFE EE pi s | dau 


eM P, Pit AR (bit reversal permutation) ,我 们 不 再 详 述 . 
{请 回想 4.5.5 WEP X: J: Kronecker HCO B9 4c S ). YEXX FE I ^ 
RF, y= F, 可 按 下 法 计算 册 
r—P. 
for g=1:2z 
L=2"T r= nl (4.6.5) 
r=(L COB er 
end 
AREE A, = OB, ) 每 行 只 有 两 个 非 零 泌 素 , 这 使 得 DET 可 能 在 
(nlog n) T flop 肉 完成. 实际 上 仔细 的 编程 仪 需 Salon 个 flop. 
DET PEA A FPEM: 


F |= Tpit !F, (4.6.6) 


Tl 


PM: F, Hy EHE EI] Hon ES AIR n 得 到 的 ,快速 的 
DFT 求 道 ,只 要 将 (向 有 前} 的 FFT 中 出 现 的 所 有 1 Go RI H: ša E 
BAER ,然后 除 以 n BURT B SU. 

DET 的 价位 在 二 通过 将 问题 变换 到 Fourier 空间 上 (通过 
F,). fii iT ES BJ lo] SERI fe. 然后 再 将 Fourier "sm _ BY 82 AER 
到 原点 坐标 中 ({ 通 过 下 ，) 即 可 得 到 解 . 

>] 题 
4.6.1 ERAR V= Vio, ay), M 
det( V) = H Gs - x). 


4.6.2 (Gautschi 1975a)7E » "1 " 证 明 下 面 不 等 式 ; 


lilr, | 
Trp x, | 


| V7 Lu < max EE 


当 复 平面 上 所 有 的 x 共 线 时 等 式 成 立 . 
4.6.3 [BiZ wcll up 62 s et? RY 2 =2 RS Rae, 
BL uo u el AAR BET POH 1 = 20-4 =1:7. 
4.6.4 证 明 (4.6.6). 
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4.6.5 $64.65) 6H «= UB, )= 展开 成 两 重 循环 ,并 算出 所 诲 的 
flop Y AR i — P r 之 细节 ). 
4.6.6 (Rit z = 3. ,将 
G-[F,0,0:3:n—1) Fa(:,l1:312n- 1) FnCu2:3:n —- 1)] 
作为 3xX3 分 块 矩 阵 来 考查 ,找到 各 块 是 E, 的 加 权 关 系 ,根据 你 找到 的 结 
果 , 写 一 个 类 似 于 文中 2 基数 FET 变换 的 3 基数 FFT BR. 
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84.7 Toeplitz 及 相关 方程 组 


每 条 对 角 线 上 的 元 素 剖 相同 的 第 阵 在 许多 应 用 中 出 现 ,这 样 
[PJ 4B PE PROS Toeplitz 阵 . 正式 地 Dh, T C o7". 存在 数量 
Fontis so. ry ANA i Mj Be, — r , WI T RE 
Toeplitz E. FÆ, 


ro ry ra raj P 7 6 

r- Fy ri 03 4 3 1 
T=! = 

i > ora ry Fi b 4 3 1 

F-3 r o ry al Y Ü 4 


是 一 个 Toeplitz FE. 
Toeplitz BER T —1- ËB B5 Iz (4E B ( persymmetrie matrices) 
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EEX. WE BE "是 基于 东北 西南 对 角 线 对 称 的 , 即 对 所 有 
PE; A by Sba- a iri 则 称 它 是 反问 对 称 的 .这 个 定义 等 价 
于 要 求 B-EB'E,H P Elene] = Can lE n x 
n 的 交换 阵 ,例如 


容易 验证 :(a) Toeplitz AR RAY. (b) 非 奇 异 的 Toeplitz 阵 
的 钊 也 是 尽 加 对 称 的 .本 节 中 我 们 将 说 明 旭 何 细致 地 利用 (by 使 能 
在 On") flop 内 求解 Toeplitz 方程 组 .我 们 主要 精力 将 集中 讨 
i£ 同时 也 是 对 称 有 日 止 定 的 重要 情形 ,对 于 非 对 称 的 Toeplitz 方 
程 组 及 它 与 循环 宅 阵 的 联系 ,还 有 离散 的 Fourier 变换 我 人 只 做 简 
mie. 

4.7.1 三 个 问题 


BOE ory, 满足 对 于 =1:n ,使 得 矩阵 


1 FL Fk-2 re- 
ry l rp 
T, = : 
Fr-2 FI 
TR] Fe-2 7Y ri 1 
是 正定 的 (不 失 一 般 性 ,这 里 的 对 角 元 如 是 已 单位 化 的 ,本 节 介 绍 
三 个 算法 : 
* 求解 Yule Walker 问题 Ty = —[r,,:7. rad! 的 Durbin € 
法 


* 求解 一 般 问 题 Tr =) 的 Levinson 算法 
* 计算 五 = 了 65 Trend 算法 
为 推出 这 些 算 法 ,我 们 用 E ok X k HRR, B E, = 1,(:. E: 


"ws er rs r m - 


-1:1). 
4.7.2 kf Yule-Walker 方程 


我 们 先 给 出 求解 Yule Walker 方程 的 Durbin 算法 .该 方程 与 
-一些 线 性 预测 问题 密切 相关 . BE £ ARE ISP, I HRE 
求解 了 第 到 阶 的 Yule-Walker 方程 组 Tay = — r= — Cryst)’. 
下 面 给 出 如 何在 OCED) 个 flop 之 内 求解 第 (+ 1) BP Yule Walker 


方程 组 : 
n MEE 
rE, d]l] hal 
z—T,l(-r-—aE,;)-7y-eT;!E, 
和 


a=- rp r Egz. 
由 于 Ty! 是 反 向 对 称 的 ,Te E, = ET, |, FE 
z= y- aE,T; r= y + aE y. 
将 此 代 人 上 面 的 a REAR, A 
a= — rrr E(tytoaEy)=— (rertriEy)/(l+r'y). 

上 涉 中 的 分 母 是 大 于 委 的 ,这 是 因为 到: 是 正定 的 ,而 且 

f Fo T, MI Fo. [Ts 0 | 

0 i riE: 1]|:0 1 - 0 Itry- 
这 就 完成 了 Durbin(1960) SE 138. k APR X b — 1: n 求解 
Yule-Walker 方程 组 


Tw? = — HO S En ey], 
就 得 到 如 下 算法 : 
y= — 
for £ —1:»-—1 


B,=1+ [ fe) ]T (2) 
0222 - 


T 
ag = — (ra, tr Egy AB (4.7.1) 
QU = yh) 4 a,E,y 


- VU) 
(+p. * | 


- me 


Y 


end 
本 算法 需 3n2 个 flop 得 到 y 二 yy? 如 果 充 分 利用 一 些 上 面 的 表 
达 式 ,可 以 进一步 减少 工作 量 : 
B= b+ [ (e ]T4 9 


= 1 + [6701 nl + aBa 
Q-1 
(1+ [ r 4-0 ]T4G-0) + aj (Lr FP ]TE, yy!) tnu) 
= Be, taa Fea) 
= (0-7 ak -Be 1. 
应 用 这 个 北 推 式 得 到 下 面 算 法 . 
算法 4.7.1(Durbin) ”给 定 实数 1=ro;r1,… r. 满足 十 = 
(ri;2; DER ?是 正定 的 ,本 算法 计算 满足 T,= = Criss a) 
的 yE 
y= — rt): 871; a= — r(1) 
for k —1:n-1 
B—-(1-a?)p 
a= —(r(k t1) - r(bx —1:1)!5(1:4))7B 
z(l:k)- y(1:k) Ft ay(E: 1:1) 
[A] 


此 


yk +1)= 


end 


本 算法 需 2n7? 个 Hop. 为 清晰 起 见 , 我 们 用 了 -个 辅助 向 量 z, 实 
际 上 它 可 以 省 去 ， 


例 4.7.1 假定 我 们 用 算法 4,7.1 RR Yule Walker 方程 组 
| 223 = 


0.5 1 035 pa. v) y| = - 0.5 0.2 O.1]F. 
0.2 0.5 || 
循环 完成 后 ,得 到 
2-145, 2-3/4, y-, "D 
^ l| 145] 
然后 计算 
8=(1-a@7)8=56/75 
a= = Årst roy t riys)/g = — 1/28 


> MI | tn — ` 225/420 
m, y> t ay, = — 36/7420 
得 到 最 终 解 为 :v=| —75,12, — 8|1 7140. 
4.7.3 一 般 右 端 向 量 问 题 
增加 少许 额外 计算 莉 , 可 以 求解 厂 端 为 任意 向 量 的 对称 中 定 
Toeplitz 方程 组 .假定 对 菜 个 满足 1 过 二 之, 我们 已 解 出 方程 组 
Tac = b= (by. A), (4.7.2) 
T, Esr | vc b | 


(4.7.3) 


TE |j Lu] l by ad 
这 里 r= (nuns n JAE. ESS k Ep Yule Walker 方程 组 Tay 
三 一 了 8 的 解 也 已 得 到 . 从 Lot pE = 5 nf Al 

v= T; (0 — pr) 7 x - Dy Egr = r+ uE,y, 


E 


# =b. r E 
=b, r Egr- url y 
=(bya r or Ep {E r rly). 
这 样 ,我 们 可 在 OC) A flop 内 完成 (4.7.2) 到 (4.7,3) 的 转 摘 . 
总 的 来 说 ,我 们 可 以 通过 对 =1:xn 并 行 地 求解 Tart = Bi? 
+ 224 - 


= (by. bg) HI Tey = — Sr r Ol 来 解 出 The =. 
这 就 是 下 述 算法 的 要 点 ， 

算法 4.7.2(Levinson) BE bE RA LS rori ,fr 
满足 于 = (rl;_;)')."* 是 正定 的 ,本 算法 计算 满足 Tr = b ú 


tE” 
y(1)= - r(1); eC) =8601); =l; a=- 701) 
for £ —1:n-1 


B- (0 -7aD9fip = GO E) - rik) ele - 1:1))78 
v(l:b)- x(I1:k) + uy(k: - 1:1) 

ve] 

H 


rik + 1) = | 
ifk<n-1 
a=(—r(k+1)t+rCikyly(k: - 1:1))/p 
z(l:k)=vOl:k) +a ylk:- 1:1) 
yk + y= [Ve 
oO 
end 
end 
本 算法 需 An 个 flop. 向 量 z 利己 是 为 合算 法 清晰 而 引 人 的 ,实际 
编程 时 可 避免 . 
例 4.7.2 假设 和 要 用 以 上 算法 求解 对 称 正定 Toeplitz 方程 组 


1 0.5 0.2 [x 
区 1 o3 es 
1 


r 


= 一 |-.-1|. 
.2 0.5 lr; L3 
循环 执行 完 后 ,得 到 
- 8/15} 6 
vias, ane eoe]. e [1 
a 15, g-3^74 y LAS | 3 4 
然后 计算 


B= (1-a*)8=56/75, 
=l bat rizi- v2.21) /P8 = 285/56, 
225 7 


Ups ryt ay = 355256, 
Uy = ra t py, = — 376/56, 
得 到 最 终 解 为 :zx=|355, — 376,285]1756. 


4.7.4 iF 


对 称 正 定 的 Toeplitz & T, HES AWRA -EEA 
xi aL YE OC n?) flop 内 算出 .为 推出 这 个 求解 算法 ,将 了 :工作 如 


下 划分 : 
r= ^ "| = | (4.7.4) 


其 中 A=T,- E= E17 二 (ri 17-1) .由 等 式 


A | Er][v 0 
p MIMEM 
可 知 Av — — yEy 7 —yE(Cri c, rl ly 21- x Ev. OR y 
是 第 (x —1) BF Yule-Walker 方程 组 Av — — r 的 解 , 则 这 些 表 达 式 
可 推出 
y (try), 
v= yEy. 
这 样 就 得 到 了 T ea - 行 和 最 后 一 列 . 
JT RJ LIEREEEUOKEECA. 7.4) PF BRAM RA 
X. HAHA AB 十 Erv! = L, - AA 


B=A IT (A Ago =a 1 SET, 
由 于 AT, | 是 非 奇 异 的 Teoplitz 阵 ,其 道 是 反问 对 称 的 .于 是 


的 = (A), + 2 


_ ue, 
= (A Yaya t : 


Y 
=f O Pan- , Pii 
a-ji y y 


= B. na Y (ony 一 Uy gU. ads (4.7.5) 


这 公式 说 明 尽 管 B 不 是 反 向 对 称 的 ,我 们 可 以 通过 所 求 5 的 关于 
东北 -西南 轴 的 反射 点 来 计算 它 , 连同 A “是 反 向 对 称 的 事实 可 
使 我 们 "从 外 到 里 "来 确定 B. 

由 于 描绘 运算 的 次 序 相当 麻烦 ,我 们 以 图 示 的 形式 预览 一 下 
前 面 提出 的 方案 .为 此 ,假定 T, 的 最 后 一 行 和 最 后 -- 列 已 知 


l 


E 
E 


ar = Eg I = 
rs E ES E 
m £ EF 2g rz E 


m Ae Nm S 


这 里 w 和 分 别 代 表 未 知 和 已 知 元 素 ,n =6. SRA T; WR 
向 对 称 性 和 递 推 式 (4.7.5) ,可 求 出 (na 一 1) x Cn 一 1) 的 遥 序 子 块 
Bare: 


kkk k Ë Ë k k kk Ë Ë 

k u u u u Ë Ë u “ë Ë Ë 

trym |Ë u u u u Kà (G5) kou u u Ë Ë 
kou u u uk Ë u H m Ë Ë 

Ë ú u u u Ek k k k k K Ë 

Ë k ËF Ë Ë k k k ËR Ë 

k k k k hk k k k k kkk 

k k k k k Ë k k k k kk 

prom |Ë k u u k k) (4.7.5) |Ë kukk E 
k k ww u k Ë k k k ËE kk 

hok k k k Ë k Ë Ë k Ë k 

k k kkk k k k k Ë 
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hk k k bp Ë 
k kk 
Cem Ë k k Ë k Ë 
ob k £ b Ë 
k kk k k &| 
le k kk Ë bk] 


MER 4E RRP OR OS SR EET , H r R E EE J — 
A= ERE”. Bl: 


X X x > X X 


X X 
HEAT, By UL ee E ee. 
3k 4.7.3(Trench) 给 定 实数 1= ry rp r 使 得 下 = 
(ri; EM” 是 风 称 正定 的 ,本 算法 计算 下 = 了 。，, 只 计算 满足 ， 
ip Foi t+ pen + 1 的 Dy. 
Rk 4.7.1 EME T py (raura. 
y2V(Urr(1in-D'y(:in-1) 
v(i:n—-1)7 xy(n-1: - 1:1) 
B(1,1)= y 
B(1,2;m)= v(n -1:-1:1)! 
for i =2:floor({2-—1)/2)4+1 
for; —-i:n it] 
B(i,j)- BGi-101,5—10) + 
(u(n E—-j)vu(nt1—:1)-v(z-DDvG -10))7Y 
end 
end 
ARP 132274 个 flop. 
例 4.7.3 iE B) bu E RARE Toeplitz 4 
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era. ————— re pi U... I rr —rrapanapan' ' 


.5 1 05] 
.2 0.5 1 

ait HE B, W| ARATE 3] y= 757/56, b = 75/56, bp = 1577, bis = 

5/56, ba = 1277. 


4.7.5 稳定 性 问题 


Cybenko(1978) 对 上 述 诸 算 法 做 了 误差 分 析 , 我 们 将 简要 介 
绍 他 的 结果 . 

关键 的 量 是 (4.7.1) 中 的 a .精确 运算 时 , 它 应 满足 | a | <1, 
AB eA IT WL, RR: 


1 0.5 0.2] 
o x 


aa 1 _ _ 1 _ 7 l+la, | 
max | HA — a?) TZ — aj) < IT; Ú < A l-l a; l’ 
| (4.7.6) 
而 且 ,只 要 所 有 的 a, BE f, Yule Walker WA T,y = —r(1: n) 
之 解 就 满足 ; 
Iya = Cla u5)- 1. (4.7.7) 


如 果 主 是 Yule Walker 方程 的 Durbin 算法 之 计算 解 , 则 rp = 
T, z£ + r 可 被 限界 如 下 : 


l rpll = pT a+ &), 
£1 


其 中 & 是 ms 的 计算 解 .通过 比较 ,因为 每 个 | 六 | 都 是 以 ] 为 界 , 故 
| re | == ft | y | 由 其 中 rc 是 用 Cholesky 法 求解 所 得 的 剩余 . 注 
意 ,如 (4.7.7) 成 立 , 则 这 两 个 剩余 的 大 小 差不多 .实际 的 数据 表明 
即使 一 部 分 w 小 于 者 时 的 情形 也 是 如 此 .对 于 Levinson 算法 的 数 
值 特性 我 们 可 得 到 类 似 的 结论 . 


至 于 Trench 算法 ,可 以 证 明 T-! 的 计算 道 B 满 足 
| 229 。 


Jr Bay yy Lala | 

Jr dla aM twr 
根据 (4. 7.7) 可 以 看 出 右 端 是 ul TI | 的 近似 上 界 , 而 
el TZ 1 之 大 小 大 约 是 用 Cholesky 法 计算 -1 时 的 相对 误差 . 


4.7.6 非 对 称 的 情况 


对 非 对 称 情况 可 推出 类 似 的 递 推算 法 , dE RAR ry, 
Fa- 1 和 Plots P6 AOK IE AR: 


l ri 72 FR Fal | wy 5, 
Pr lor. ro raj b. 
po Pr 1 va rllz = ib; (z = 5) 


P3 Po Pi d rllza b, 
pa Ps po Pi Ld Las bsi 
的 线性 方程 组 Tx = b. 
下 面 的 推导 过 程 要 求 工 的 顺序 主子 阵 Te = Tk E EDE 
=1;n 是 韭 奇异 的 , 使 用 与 上 相间 的 记号 ,可 以 证 明 : 如 果 已 有 


上 x 此 方程 组 的 解 : 
了 = 一 [rm conf". 
Tio--p--[b P: pel’, (4.7.8) 
rh--r--[b b c AJ 


则 可 在 O (k )+` flop 内 得 到 下 面 方程 组 的 解 
PIN 
TE, 1 a Ferid 
Ts E;jr | le P 
Ls. 1 | B _ M 4-7-9) 
T, Eygllv b 
bo 1 | . x MI 


a... e U. uU... 
—  nVM  ——NÑyTMO — s á... u l me Pep 
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这 意味 着 理论 上 能 在 On?) + flop 内 求解 一 个 非 对 称 Toeplitz 77 
程 组 .然而 ,除非 短 阵 T, = TIE, IT: ) 有 很 好 的 条 件数 ,否则 算 
法 的 稳定 性 得 不 到 保证 ， ` 


4.7.7 循环 方程 组 
有 一 类 非常 重要 的 Toeplitz 阵 是 循环 阵 . 以 下 是 -个 例 子 : 


Un (4 Us tia TH 
ClvJ= [ve vi vp va Ui 


lv, Uy Un. Vi Tn 
注意 到 循环 阵 的 每 一 列 都 是 将 其 前 一 列 回 下 移动 一 个 位 置 得 到 
的 . UREA TERREA 


0 0 0 0 1} 
100 0 6 
S,=—|0 10 0 0 (n—5), 
00100 
0 0 0 1 0 


H v= [v v1 v,-1],8M Clv) =[v, So, Su, 
S? lu]. 
循环 阵 .Toeplitz 阵 和 DFT 之 间 有 很 重要 的 联系 . 首先 ,可 以 
证 明 
C(v)—- F,!diag( F,v) F, - (4.7.10) 
这 意味 着 形 如 y= C(o)x 的 积 能 够 以 “FFT 速度 "求解 : 


Be ALL, = Uk DFT 运算 和 一 次 向 量 乘法 足以 求解 一 个 循环 阵 与 
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— ia] E 89 3E A PA JE AE , C fa fe SR H 
他 领域 . 


Toeplitz 阵 与 向 其 的 琵 积 也 可 快速 计算 出 .关键 思想 是 任何 
Toeplitz 阵 都 叮 被 嵌入 到 一 个 循环 阵 中 .例如 


5 2 
T—-|4 5 2| 
‘9 4 5 


“oo E tA bl 
Oo + OL P S 
Bu Nw — D 
WN o p. 


的 顺序 3x3 FE. 

一 般 地 ,如 T — (t, ) & n X n Toeplitz PE, Wl T — C(1:z, 
iin) rh CC Vn Cn O AIEEE, H 
_ T(1:n,1) 
LT, 2: 1:2)797 
注意 如 y=Cr Hr(nctl:2n—1)-0,W[ (1:52 )= Tr(1:n), X 
UE BH Toeplitz 问 量 乘积 也 能 以 "FFT 速度 "计算 出 ， 


CC:,1) 


习 题 


4.7.1 XPE SR o € an E X BE o, = (v + Ev) M + = 
(v— E,;0)/2,Í8xE ACER XJ $ H. RS, DER UT E Ax = 5, UI 
Ar, =h, HfiAr. =; . 

4.7.2 "Uc "n E hr E ARMA ATER: U- 1k) = E, 
y 57D HE y) (4.7.1) së XL. HERA 

U'T,U = diag(1,B,, B... 

4.7.3 假设 rE HSE” BiH , EM OR 

X = [s<,Sz, Slr], 
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pM hele url 


则 XTX Æ Toeplitz E. 
4.7.4 I n> n MSW ARM ER IE SE Toeplitz HRN LOL 分解 ,证 明 
当 pooti, d, Ali, p- Wea. 
4.7.5 ERANA Ff Toeplitz PERI FE SU Toeplitz EE. 
4.7.6 给 出 一 个 算法 求 出 n € R 使 得 
T, + pleel + ejen) 
是 奇异 的 .假定 T,- (nu. 是 正定 的 ,其 中 reat. 
4.7.7 AHAH 4.7.2. EREDAR v 和 =、 
4.7.8 给 出 一 个 计算 2.07) E Un 的 算法 . 
4.7.9 [RE ALAALA 是 m Xm HEE H 
Ay Ay A A; 
As A Ay A; 
W A; Áp ^p 
Ay Az As Ag 
证 明 存 在 一 个 置换 阵 H WEH AN=C=(C,), BERT CE 4x4 循环 
EF. 
4.7.10 对 于 -- 个 会 有 mx m 个 块 ,每 块 大 小 次 px p HORA, 
如 果 存 在 Anti.) 4-1,40,41,°7, A, Cm "RE A, = A,-,, 20 
Ag A, Ay A; 
A, Ag A, A; 
A-> Ay. Aq Ay 
Ay A. Ay Ag 


A = 


H| A 是 分 块 Toeplitz E. 

Ca) tie AA fF fe EO 满足 

Tii Tiz UU Ti, 
H'AH-|Tn To | } 

其 中 每 个 T, JE p>x p B9 Toeplitz RB T; PE ii A, P095 C2, 4 JUR SB R 
的 . 

(Cb) 如 站 ;二 六 -上 二 1: 记 一 1, 则 T. fl Z +E BS? 

4.7.11 如 给 定 (4.7.8) 的 解 ,给 出 如 何 计算 (4.7.9) 的 解 .假设 所 涉及 
的 所 有 第 阵 均 为 非 奇 异 的 ,很 设 工 的 所 有 主子 阵 均 为 非 奇 异 的 ,进一步 说 计 
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一 个 快速 算法 求解 非 对 称 Toeplitz 方程 组 Ter = 5. 
4.7.12. 矩阵 WC 73 Hn: ~ 0:0) Toeplitz EE BE # A Hankel 
EE. üEBH ; un RAE X A y 
ay = | es 20) cast 108, 


I) A 是 Hankel BE Al Toeplitz 阵 的 和 . 担 示 :利用 等 式 cos Ce + v) = 
cost ecosf v) — sin( p )sinC o). 
4.7.13 证 明 F,C(v) = diag( Fw) F, 
4.7.14 iEAA RE Ed -—- 1 Xt Pp Toeplitz Ps A 8 — TOT Ef ET. 
4.7.15 考虑 (4.7.1) 中 Yule Walker FRA Ta = — ORB k IK 


运算 
ET ra 
T. | È | 一 一 | ， 
JE p 
证 明 如 果 
| l Ü Ü 0 Ü 
yu () 0 0 
M22 Y21 l Ü Ü 
L = , 
Ü 


Ya yx KETI l 


a-l,n-1 r-l, n-3 Jo-3 U7 Ya-l,l 1 
MJ LT L= diag(1,8 77.8, KP 71 p VU, 于 是 Durbin 算法 可 
被 奢 做 为 计算 T, LDL! 分 解 的 快速 方法 . 
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[ie ee ee et Rl el [上 - 


SAR ” 正 交 化 和 最 小 一 乘法 


85.1 Householder 和 Givens XE EE 
$5.2 QR 分 解 

95.3 满 秩 的 LS 问题 

95.4 其 他 正 交 分 解 

$5.5 Rv) LS 问题 

$5.6 JH BORN TE E 

85.7. ESED REL REDE 


本 章 主 要 讨论 超 定 方 程 组 的 最 小 二 乘 解 , 即 |‖ Ax b || > 的 
最 小 化 ,其 中 ACR” n 81x [n] S69 Eb u] SE BJ Jp 25; Je BL 2 1E 26 
变换 将 A 约 化 为 各 种 典型 形式 .Householder 反射 和 Givens 旋转 
是 这 种 方法 的 核心 ,在 本 章 的 开始 先 对 这 两 种 重要 的 变换 进行 讨 
ye. 85.2 中 将 讨论 如 何 计算 分 解 A = QR ,其 中 Q 是 正 交 阵 ,R 
是 三 角 阵 .这 导致 寻找 ran( & ) 的 一 个 正 交 基 . 我 们 在 全 5.3 A, 
QR 分 解 可 用 来 求解 满 秩 的 最 小 二 乘 问题 .给 出 扰动 理论 之 后 , 我 
们 将 此 方法 与 法 方程 组 方法 作 一 比较 .在 $5,4 和 $5.5 中 ,我 们 
考虑 那些 处 理 A 是 秩 亏 损 { 或 近 于 亏损 ) 的 困难 情形 的 方法 . 主要 
介绍 了 列 选 主 QR 分解 和 SYD 分解 .在 §5.6 中 ,给 出 提高 最 小 
二 乘法 计算 解 精度 所 采用 的 几 个 步骤 .85.7 给 出 了 正方 形 方程 
组 和 欠 征 方程 组 的 几 个 注 记 . 


预备 知识 
假定 读者 已 阅读 过 第 一 .二 ,三 章 和 4.1 一 $4.3. FRA 
之 介 的 依赖 关系 为 ; 
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°, Š 
$5.17 $5.2° 85.3 85.47 35.5 


87.7 
补充 文献 包括 Lawson 和 Hanson (1974), Farebrother ( 1987), 
Bjórck( 1996). 还 可 见 Stewart (1973) , Hager (1988), Stewart 和 
Sun( 1990), Watkins( 1991), Gill, Murry 和 Wright( 1991) , Higham 
(1996) , Trefethen 和 Bau( 1996) , Demmcel(1996) ,本章 用 到 的 重要 
的 MATLAB 函数 有 qr, svd, pinv,orth, rank 及 反 斜 杠 运算 符 \. 
LAPACK 连接 包括 : 


LAPACK: Householder Givens 工具 
产生 Householder XB PE 


LARF Householder 5 PE si kp B 

..LARFX 低 维 数 的 Householder 矩阵 乘 矩阵 
Abik Householder 38 Bi Fe Hi EE 
计算 工 - VTV! 分 块 反射 表示 
产生 平面 旋转 

_ LARGV PE ^ 3E 181 E 5 |p] at 

_ LARTV 平面 旋转 作用 于 向 有 量 对 

— LASR 旋转 作用 于 矩阵 

_ CSROT SE pe Fe Fe Sa [n] Rt xf 

. CROT 复 旋转 ( 实 c) REIHE) 


复 旋转 ( 实 sae E [9] OU 
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LAPACK: E3247 f 
. GEQRF A- QR 
__ GEQPF AH — QR 
__ ORMQR QCGYHBJIE zÑ ) CSE) 
__ UNMQR QRA REE) 
.. ORGQR L 产生 OCH) 
| ,UNGQR — | FA Q( 2) 


_ GERQF A-RQ-(E-ZfB)GE S) 

— GELQF A-LQ -(F ff GE 8) 

_ GEQLF | A= QL-GEZOCF — ff 

— TZRQF A= RQ, 其 中 A 是 上 梯形 的 NEN 
_ GESVD A = VEV! 

. BDSQR SEX fs ERI SVD 


__GEBRD | ~~ ERE BT FA fE 
| ORGBR p= tE TE Ae 
| GBBED "t RB ERAT X XJ ft db 


LAPACK: 最 小 二 乘 
满 秩 的 min LAX -B ES min || AEX-—Blp 
min || AX — B || p ËJ SVD RE. 
用 复 正 交 分 解 求 解 min || AX - B ||: 
AE fig — BE E PE MUR PES 


. GELSS 
. GELSX 
— GEEQU 


$5.1 Householder 和 Givens 42 EE 


由 前 面 的 知识 , 如果 010 = goln Me Ce" * HIER 
的 . 正 交 阵 在 最 小 二 乘法 和 特征 值 计算 方 面 起 着 重要 作用 .本 节 我 
们 介绍 两 个 关键 的 变换 :Householder 反射 和 Givens 旋转 ， 


5.1.1 一 个 2x2 阵 的 引 例 


为 引出 主题 , 先 分 析 在 x =2 的 层次 上 的 几何 旋转 和 几何 反 
+ 239 - 


—á n year Cr r I "n r r aa 


射 ,一 个 2x2 正 交 阵 Q 如 有 形式 
" cos( 8) ud 
-~  sin(8)  cos( 9) 
则 称 之 为 旋转 变换 . 如果 y= Ole M y 是 通过 将 x DS ee O 
角度 得 到 的 . 
一 个 2x2 正 父 阵 Q 如 有 形式 
fone sin( 8) ] 
sin(@)  — cos( 8) 
WR AM EM. 如果 y= Q !z = Qz, WJ y 是 将 向 量 x 法 于 由 
| [cost 8/2) 7 | 
s = wenl [oao 
所 定义 的 直线 作 反 射 得 到 的 .反射 和 旋转 变换 在 计算 上 很 有 吸引 
力 , 因 为 它们 易于 构造 且 可 道 过 适当 选取 旋转 角度 和 反射 平面 而 
使 向 量 中 产生 新 的 零 元 素 . 
例 5.1.1 MR r—-[1./3]7, 如 果 令 
Q = | cos( — 60°) 300700) | n" pd 
— sin(— 60)  cos( — 60°) JaA 1⁄2 | 
则 Qr=[2,0]". 因此 ， 一 的 "的 旋转 使 工 的 第 二 个 分 量化 为 零 . 
如 果 


o = [ex (307 sin(30°) |- A 2 | 
— Lsin(30°) —cos(30°)J | pn - 3⁄2] 
R] Qr =(2,0]". 于 是 , 3& y 5T 30 65 Ë S K E dp EX HASSE 
4635 E. 
5.1.2 Householder 反射 
W. ve Fin J: EF In) RE LE n 
P = 1- TT (5.1.1) 


Hy n x n EP BRA Householder & 4 (a Z i8]: Householder 4E 
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PF , Householder 324%). 向 量 v 称 作 Householder IJ E£. WRH P 
ERR z HSA [n] EXTR OW span| vi 的 反射 ,容易 看 出 ， 
Householder 矩阵 是 对 称 正 安 的 ， 

Householder 反射 与 我 们 3.2.1 节 介绍 的 Gauss 变换 相 比 有 
两 点 类 似 . 二 者 都 是 单个 阵 的 秩 1 校正 形式 ,都 可 用 来 将 一 个 问 量 
的 某 些 选 定 分 量变 为 零 . FL k UE, DUE XE OA © pr. AIE Px 
Hech, DA -个 倍数 . 注意 ,由 


各 Pr Cspante,| BR v€ spannir, e. $ v=xt oae,, 得 到 


vig = r'r + m 


和 


vlu = rlr t+ lar, + a°. 


因此 


T T 
xr Z t ati u OX 

Pr = (1 一 2 ML E.g — 2g ey. 
xix + Žar + a° vip! 


为 了 使 z WRRAS, S a= t | = l>, TÆ 


Zuul — 
= = x | x ||. Px = (I — re) =+ x Il 2e1. 


(5.1.2) 
正 是 能 这 样 简单 地 确定 v, 使 得 Householder 反射 非常 有 用 ， 
Bl5.1.2 XX x-[3,1,5,1]7, v=(9,1,5,1]', X 


-27 -9 -45 - 

ou!  1]-9 53 -5 -1 
P-I-* = = 

viv 341-45 -5 29 ~§ 

-9 -! -5 53 


BAMA Pr = [-6,0,0,0]". 
5.1.3 计算 Houstholder 向 量 


有 许多 确定 Householder Æ , BA Householder 阿 量 的 重要 细 
a 241 . 


节 . 其 中 之 -是 类 十 选择 (5.1.2) 中 性 的 符号 .关系 式 

w= rin | .| 
具有 Pr Æe 的 一 个 上 正信 数 这 一 良好 人 性质. 5 r 接近 sei 的 一 个 正 
倍数 时 ,由 于 会 出 现 严重 的 机 消 , 因 此 这 种 方法 是 危险 的 .然而 
Parlettt1971) 提 上 出 的 公式 | 
—(a tert 22) 


rit tr lls 


xin (bx ll P 
cit dx d$ 
在 ri>0 的 情况 下 能 避免 这 个 缺陷 . 

实际 上 ,方便 的 是 将 Householder 向 量规 范 化 使 得 9 (1) — 1. 
这 就 允许 将 o(2: n FEE x 己 化 为 堆 的 位 置 , 邑 xz (2;n). 我 们 
将 vw(2:n) 称 为 Householder 向 量 的 基本 部 分 .回忆 有 =2“u v, R. 
4 length( z) 2š e] EE BJ 2E 38 ,我 们 得 到 下 向 的 算法 : 

算法 S.1.1( Householder 向 量 ) 给 定 eC `", K Akit F g 
是 ov(1)—-189 v€ i" Fe BC (ee P = 1, — Boc! 是 正 交 阵 且 Pr 
= || x lae. 

function: | &,8 | =house( x) 


w= x | x ||; = 


n = length( >+ ) 
e= x(2:1n) x(2:n) 


1 
° |. On), 
if s= Ü 
B= 0 
else 
=V r(Y be 
rx 
v(I)-xr(l)- p 
else 
v(1) 7 o7 (xr(1)t gu) 
end 
B=20 Ae + o (1)2) 
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v=u/el) 
end 
ABEL 3a 个 flop,; 计 算得 到 的 Householder 5& P dE Uta tA FE 
内 是 正 交 的 , 这 将 在 以 下 讨论 .算法 5.1.1 PABA AM 
[5 x 进行 加 权 运 算 (r — z/l xl RRL. 


5.1.4 Householder 矩阵 的 应 用 


将 Householder 反射 作用 于 和 矩阵 时 ,利用 其 结构 是 至 区 重要 

的 .如 果 ACR" PSI- Boo! C m? 则 

PA = (I — pov DA = A — vw, 
其 中 w= BAly. PEER, ER P — I — poo € n" , Wü] 

AP = A(T — Boo!) = A- wv, 
其 中 w= BA. AFF -个 m X n Householder @ iE. B — à XB RF- [6] 
量 乘法 和 一 次 外 积 运 算 组 成 , 它 需 要 4mn 个 flop. 如 果 认 识 不 到 
这 一 点 ,而 把 P 当 一 般 和 矩阵 对 待 就 会 增加 一 个 量 级 的 工作 基 . 
Householder 变换 永远 不 会 出 现 显 式 的 Householder 矩阵 . 

上 上 式 两 种 Householder 修正 中 的 任何 一 种 实现 时 都 可 利用 
zf1l)=1 这 -- 事 实 .在 计算 PA 而 mm 很 小 时 和 计算 4P 而 wn 很 小 
时 ,这 个 特性 很 重要 . 

作为 Householder 皇 阵 修正 的 一 个 例子 , f Dx s T] SA B = 
QUA RBBACH™™"(meen) HPERE Q 的 选取 是 保证 对 
于 满足 «ESI; 使 得 BCG *1:m,j)—-0. WH BEAG m, 
1:7 -1)=0, H 38111] EF. Householder 向 量 的 基本 部 分 存储 于 
AG+l:m, 让 中 .下 述 指令 完成 这 项 工作 : 

[v,B] = house (A(j :m,j)) 
ACjim,ji:in)-(L, 17 Boo DAG ims jin) 
AG tlim,j)=v(2im— ;*1) 
从 计算 的 角度 大 ,我 们 用 了 一 个 m —7 4+ 1 BP Householder XB ETF 
FA ARP Mo -7 +177. RRS RABAT -个 
'm X m 的 Householder 矩阵 
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~ I; í) r () 
P = | J |= I, 一 Bol, v = | | 
0 P v 


作用 于 整个 4 上 .无 论 怎样 ,Househotder 向 量 的 基本 部 分 可 被 在 
储 于 A 的 化 为 零 的 元 素 之 位 置 上 . 


5.1.5 舍 入 特性 
Householder 4E Pr f) a A FE FEAL 3E  & AY. Wilkinson(1965, 第 
152—162 页 } 指 出 house 程序 产生 的 Householder m # Ç AE 98 EE 3s 
ASE o. RP-I-239 eT dD ,W 
| P- Pll, = O(n), 


XC BOR P te ULES A HRIEAENS. 而 且 , 用 户 去 修正 也 非 常 接近 


FAP ASR AEE: 
fl(PA) = P(A +E), I EI: = Ola A lH), 
KAP) = (A+ E)P, FE lls = OCp || All.) . 


5.1.6 因子 形式 表达 


在 随后 的 章节 中 将 给 出 的 许多 基于 Householder 变换 的 分 解 

算法 都 要 计算 若干 个 Householder 阵 之 乘积 ， 
Q = O IQ OQ... Q,-I- Bw ver, (5.1.3) 
其 中 rin , HB oO HO: 
oi = (0,0,0,1 vU) rr oP )T, 
即便 在 随后 的 计算 中 会 涉及 到 @ ,但 也 没 必要 将 Q 显 式 地 计算 
出 .例如 ,如 果 CER! ,我 们 希望 计算 QIC , 则 只 需 执行 如 下 循 
PF: 
for ;—1:r 


C-QC 


| 
eta 


对 Householder 向 量 o (P --- u tr) ALAR p B$ B;{ 如 果 方 便 ) 的 存储 导 
RT Q 的 因子 形式 的 表达 方式 .为 说 明 因 子 形式 的 经 济 , 假 定 有 
数组 A, H AG +1:n,7) 中 存储 第 j 个 Householder [3] at BJ SE aE 
部 分 oP Gt lin). 以 OIC 覆盖 CE R “9 的 运算 可 按 下 述 算 法 
执行 : 


for ;—1:r 
| 1 
vG AG sen) (5.1.4) 
Cin =U -BeGinoG ind )C(j:n,:) 
emi 


这 需 2qr(2n — r) ^ flop. 如 果 显 式 地 计算 出 nx n B PE OW 
2n?^q 个 flop. 
当然 在 某 些 应 用 中 必须 将 Q 显 式 求 出 (或 部 分 求 出 ). 有 两 
种 计算 Householder 乘积 阵 Q 的 方法 , — 8h [81 Bip S BH: 
Q = I, 
for ;=1:r 
Q = QQ, 
end 
另 一 种 是 向 后 累积 ; 
Q = I, 
for ;-r:- 1:1 
Q= Q Q 
end 
回想 到 Q, (5; - 1) * G — 1 的 顺序 主子 阵 是 单位 阵 . 所 以 , 在 
向 后 累积 执行 之 初 ,@ 的 很 大 部 分 是 单位 阵 ， 随 着 迭代 的 进行 过 
渐变 满 . 这 个 特征 可 用 来 减少 所 需 的 flop SC. 相反 ,在 向 前 累积 法 
中 ,执行 完 第 一 步 后 Q 就 变 成 满 的 了 . 因此 ,向 后 累积 法 更 为 经 
济 ,是 应 选 的 方案 : 
Q = I, 
for ;— r:—- 1:1 
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yf! | 
v(j:n) LAG on) (5.1.5) 


Q(; :in.jin) -Bulin vin )D Qin jin) 
end 
这 而 约 A(n^r — nr? + £73) flop. 


5.1.7, ox 


假设 0 = Q00, JL a xn Householder 矩阵 的 乘积 ， 
如 (5S.1.3). 由 于 Q, SE ER fr AERE 1 校正 上 形式， 由 Householder 向 
BM O 是 单位 阵 的 秩 x 校 止 形式 ,可 以 气 成 
O = I+ WYT, (5.1.6) 
其 中 W fl Y 是 n Xr SOM. PRR (5.1. OM X BEYE TF 
面 引 理 . 
引 理 5.1.1 假定 人 = 了 + WYT 是 一 pn xn 的 正 交 阵 , 其 中 


AX] 


W,Y€i (wR PHT- Boo! , BP ve" 2 = - pov. W 
Q.= QP = I+ W. YT 
其 中 W.=[W,z]#r Y, =[V,o]8 35 nx (j +1). 


证 明 
QP= (I+ WYE - Boul) = I + WY" — Qov" 
-I1- WY'c-zw! —I«[W z]lY ot. [] 
反复 应 用 这 个 引 理 ,可 由 (5.1.3) 中 的 Q 的 因子 形式 得 到 分 块 形 
式 如 下 : 


算法 5.1.2 RE Q-Qy-Q, 是 如 ($5.1.3} 所 示 的 一 系列 
n X n Householder 48 FF ij RAR, RHE RRL Q = I+ WYT 的 
EE W,YCH RS, 


y = wt 
W = - Bul? 
for ;=2:r 


z= —-B(I+ Wy) y? 
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Y-[Y v] 
end 

和 如果 利用 了 oO SUR, WA BRE 26072-22073 个 flop. 
注意 到 仅仅 是 由 Householder m Œ tH E HJ XB Ef , PLE , E S BR fz 
下 三 角 阵 .很 显然 ,生成 WY 表示 挨 式 (5.1.6) 的 中 心 企 务 是 计算 
W ERF. 

“MOSH - PME HIH , Householder 5B [Eg B5 38 Ep] 
分 块 形 式 就 显得 很 有 吸引 力 . 假 定 Co. UI Meet 

C—Q!C=(I+ wYU'c-c« YCW!c) 

SAREH 32028. 5 — y BEL MRO 是 因子 形式 ,OIC 只 是 
RARER- n] E EU AS HeiETEAREO 级 运算 . 当然 ,关于 此 ， 
aa C 列 数 的 减少 ,2 级 运算 和 3 级 适 算 之 问 的 差别 也 枕骨 消失 . 

我 们 提 到 WY 表示 从 几何 上 不 是 一 般 化 的 Householder & 
换 . 真 止 的 分 块 表 示 的 形式 为 Q—1-2VVI, Hip VE onn E 
VY =I, 618 Schreiber 和 Parlett(1987) 及 Schreiber Hi Van loan 
(1989). 

5.1.3 4X n-4,r-2,R[1,.6,0,.8] ,[0,1,.8,.6]* 
253 5 Q , Q 相 美 的 Householder 向 量 , 则 
-1 1.090 
-0.6 -0.32|[i1 06 0 NAI 
| 0 -0.8001:0 1 0.8 0.6 
L-0.8 0.264 


Q1Q2= IL, WY == L, + 


5.1.8 Givens 旋转 


Householder 反射 对 于 大 是 引进 零 元 是 非常 有 用 的 ,例如 , 消 
去 一 个 向量 中 除 第 一 个 分 量 外 的 所 有 分 量 .然而 ,在 许多 计算 中 ， 
必须 有 选择 好 消 志 -- 些 匹 素 . Givens 谋 转 就 是 解决 这 个 问题 的 工 
具 . ik He tr EE EE pJ Fk 2 校正 形式 : 
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a À————— r r mnr 


| 0 í 5 Ü) ; 
GG,b,8)-|- ZEE 5.1.7 
0 m; oc c c Of, 
ID -- Ü - DO - Ü: 
Ë 


i 
EP c= cos(0), s=sin(?), 显然 Givens BREE EM, 
FAG, k O Jtír2e 3epe + — PE E) ba E 85 o UE 
度 的 逆 时 针 旋 转 . SE ER rE", y= G(i,b,.0 v, M 
CF, — STR. Ji, 
y = sr, T Cx, 7 三 点， 
. Lys PRR. 
从 这 组 公式 很 清楚 知道 我 们 可 以 通过 令 
i 7 ee 
而 使 y, 为 0. 因 此, 使 用 Givens 旋转 很 容易 就 可 将 一 向 量 的 某 个 
指定 分 量化 为 0. 实际 上 还 有 比 (5.1.8) 更 好 的 方法 来 计算 < 和;. 
例如 ,下 述 算法 能 防止 溢出 发 生 . 
算法 5.1,3 给 定数 量 a 和 5b, 本 函数 计算 c= cos (8) 和 ;= 


sin (8) ,使 得 
c sl!'ia r 
= ‘| = 


function: [c,s] = givens(a , b) 
if b=0 
c=1; s=0; 
else 
ifl] > | ai 


(5.1.8) 
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r—-—au/b; sz1A 1475 C 8T 
else 
r= —6/a; c= <+ z; s= ct 
end 
end 
本 算法 需要 5 个 flop 和 一 次 求 平 方 根 过 算 .注意 其 中 并 没有 计算 
6, AIAG k RHA aR. 
15.1.4 如 果 xr-[1,2.3,4]T, cos (0) 2 1A/5,sin(8) = 
-2AN5,8 G(2,4,80) x = [1,/20,3,0]T. 


5.1.9 Givens 旋转 的 应 用 


当 应 用 Givens 旋转 第 阵 做 乘法 和 运算 时 ,关键 是 要 利用 它 的 简 
Ert [EE AC .2m 25 c= cos(0),s=sin(0), WR GC, £,0)€ 
kes WIE A — G(i,k.0)'A HEIA 的 两 行 


Allil D= ° | Ail), 


H Rig 6n 个 flop: 
for ; — 1:5 
r= AC) 
c; A(k,j) 
A(1,j)7— eri sc; 
A(2,7) = st — ET? 
end 
同样 ,如 果 GG, k, 0) CR" " BIE AAG (i,k, 0) RVI A 
BW 5j 


AG LEAD AG LAD] f. | 


且 只 需 6m 个 flop. 


for ;—1:m 
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T| =AC} i) 
r= Á(CJ,R) 
ALJ, iJ SETIT sro 
ACJ &)= sty -ers 
end 
5.1.10 BAR 
Givens 旋转 的 数值 性 质 与 Householder 反射 一 样 良 好 .确切 屯 
说 ,可 以 证 明 givens 程序 的 计算 解 c Ms 满足 
é=ec(lte,), é,=Olp), 
Ss=s€tt+e,), e, - O( n). 
如 果 接 善 册 和? 进行 Givens 党 换 , 则 计算 所 得 的 是 -个 近似 什 阵 
精确 修 止 : 
ALG, k, OYA] = GG, k, OTA + E), | E llo gll A ll, 


ALAGG,£,0)] = (A4 E)GG,E,0), lE 20 pl A Ms. 
Givens 旋转 详细 的 误 益 分 析 可 在 Wilkinson( 1965, 第 131—139 
pi DEE fr 8. 


5.1.41 Givens 旋转 的 表示 积 


假定 Q = Goe G, Rat FI Givens HE FR BL. IE KET 
Householder 反射 所 看 到 的 , 将 正 交 阵 Q 保持 为 因子 形式 要 比 显 
式 地 求 出 其 科 积 更 为 经 济 ., 应 用 Stewart 提出 的 技术 ,可 用 一 简 法 
的 方法 做 到 这 一 点 .其 思想 是 将 每 -个 旋转 变换 对 应 于 一 个 浮 点 
Wo. 具体 地 说 ,如 果 


i 5 
| | chi sta, 
— C 


则 定义 数量 o 如 下 : 
if c —0 


p =l 
elseif [s| < Íc] 
p =signle)s/2 (5.1.9) 
else 
p =2sign(s)/c 
end 
实质 上 ,相当 于 当 正 纺 较 小 时 存储 72 ,余弦 较 小 时 存储 276. FEI 
种 对 应 关系 ,可 以 重新 构造 土 2 如 下 : 
if =1 
c=0; s=l 
elseif | ol < 1 
s=20; c=v | - s2 (5.1.10) 
else 
c= 2p; s=V1l—-< 
end 
XCEE BI PAE — Z RAKES AA Z B yE l 
的 某 个 元 素 变 为 0, 则 -2 也 能 做 到 .把 c 和 s 中 的 较 小 的 数 存 储 
起 来 的 最 根本 理由 是 ,如 果 r 接近 1, 公式 v 1- 天 的 精度 就 低 得 
可怜 .在 Stewart(1976) 的 普 作 中 可 以 找到 更 和 针 的 细节 .当然 ,为 重 
t Gi, R,0), BRE AER o oh XR i Me 的 值 .我 们 将 在 
$.2.3 节 中 讨论 ,这 并 没有 什么 肉 蕉 . 


5.1.12 误差 积累 


我 们 简要 讨论 当 算 法 涉及 一 系列 Householder 或 Givens 变换 
时 的 省 入 保 差 积累 . 精确 地 说 ,假定 给 出 A = Age" 3EH 3: 
阵 Aj; A, =p 是 利用 
Ay = fl( QpAg-\Z) k—l:p 
PUER). B EQ, mz, BJ pe ^E AR w FI AI HI E 28 9 Householder 和 
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Givens 算 法 . 设 Q, FZ, BMA & AiR AYE F >= rE IE E 
阵 ,能 够 证 明 - 

B-(Q,- Q,(A+E) ZZ), (5.1.11) 
Anm E i = Il A | 24. C 是 - Bi +I f F + , m A p 有 的 常数 . 
简 记 之 , 吾 是 基 个 近似 于 4 的 算 阵 之 精确 的 正 交 变换 . 


5.1.13 快速 Givens 变换 


由 于 Givens 旋转 能 够 有 选择 地 引进 零 元 ,这 使 得 它 在 - 些 有 
特殊 结构 的 问题 上 成 为 - -个 重要 的 消 零 工具 ,这 时 至 了 “快速 
Givens” 方法 的 发 展 .快速 Givens 思想 就 是 当 Q 是 一 系列 Givens 
旋转 的 乘积 时 巧妙 地 表达 它 ， 具体 地 党,0 用 -- 个 矩阵 对 (1M ,DO 
来 表示 ,其 中 MTM = D =diag(d,), AET d, RAT 0. HE RE Q, 
M AD 通过 公式 

Q = MD ! = Mdiag(1/./d,) 
联系 起 来 .请 注意 (MD I7) (MD 2 =p '2pp '2- p 因此 
矩阵 MD “是 正 交 的 ,而且 如 果 下 是: -Anax n 88 A FTDF = 
中 为 对 角 阵 , 则 MI M, = Drews HF M, = ME. LAT DÀ 
对 快速 Givens 的 表示 形式 (M, DD) 做 变换 来 得 到 ( M D,a). 
使 这 个 思想 具有 实际 应 用 的 意义 ,我 们 必须 给 出 如 何在 保证 万 为 
对 角 阵 的 限制 条 件 下 使 下 有 具有 消 零 的 能 力 ， 

在 2 乘 2 的 层次 上 能 很 好 地 给 出 详细 解释 . 令 = [zi,ry]T， 
且 给 定 D=diag(d,,d2), 假定 d, 和 d, KFE EX 


of 1 
M,-[' M (5.1.12) 
H.38 Fl 
Pix, t x2 
T _ 
Mi — 
和 
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T | 22t Pid MAU 
Mi DM, = 5 == L1- 
Ld in Tt d8 | dı tajda 
如 果 r0, e1 = —x1/x2, H B= — eida/d,, W 
Trall + yi) 
MTz=| “ ' | 
Ü 
MTDM = [erm 0 | 
mu 0 d (14 y)? 


其 中 yi = -ai = (da/d A xiZx3Y*. 
类 似 地 ,如 我 们 假定 r A0, Hi M> 如 下 : 


1 aes 
Mil. |. (5.1.13) 
其 中 3 一 — zr; z H B, = —(d,/d2) a3, 则 
_ xl + y>) 
wn [ren 
和 
d (1+ y>) ü 
T 一 = 
M; DM. | 0 nary) D;, 


其 中 y, = — aB; = (d da xs x4 Y. 

容易 证 明 无 论 i=1 2 2,58 JDI MD; 7 是正 交 阵 , 且 
它 能 使 J'(p 17x)8938 4 48 09 0. O 也许 实际 上 是 一 个 反 
射 变换 ,因此 采用 流行 的 和 名称 "快速 Givens 变换 也 许 并 不 全 对 .) 

注意 到 y, 满足 yyY,=1. 因此 ,我 们 选择 上 述 的 M, 使 “增长 
因子 《1+ zi) 以 2 为 界 . 

形 为 


p TA 1 rl a 
Mic | 1 M M2= p 1 | 
HWE- ISa «0 的 矩阵 是 2x2 的 快速 Givens PR. ER, HI 
快速 Givens THA, AT sis FEE TK 38 V M 83 Givens 变换 的 
一 半 . 而且 , 消 零 元 过 程 并 不 需 计算 平方 根 . 
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在 axz 的 情形 下 ,一 ， 邦 随 距 通 的 Givens 旋转 一 样 “ 放 大 ”. 
“1 型 的 变换 形式 为 


Ü 0 0 
| 0 B l Ü |j 
Fli k a, p = : 
ij | a 0 k 
0 0 Ü 0 
i Ë (5.1.14) 
而 ”2 型 变换 的 结构 为 
I Ü Ü) Ü 
0 1 a Ol; 
F(i,b.a.B)-— : : 
: 0 B 1 0|, 
0 0 0 … O 
i Ë (5.1.15) 
综合 这 些 可 得 下 列 算 法 . 


算法 5.1.4 给 定 x ER? 和 大 于 零 的 d 人 已 , 本 算法 计算 一 
个 2x2 快速 Givens FRE M i X Mia 的 第 二 个 分 量 为 零 有 
M'DM= D, 是 对 角 阵 ,其 中 ==diag(d1,d2). 如 果 type=1, M 
M 的 形式 为 (5.1.12), 如 有 果 type 二 2, 则 M 的 形式 为 (5.1.13). 
D, SAARRE d 
function: | o , 8, type] = fast. givens( z, 4) 
if x(2)750 
a= —=x(1)/z(2); B—--ad(2)/d(D: y =-aB 
if ysi 
type = 1 
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r—-d(1): d(1)= (I+ y)d(2); d(2) 2 (0 * yr 
else 
type = 2 
a=\/a; B=178; y=1/¥ 
d(1)=(1+ y)q(1); d(2)= 0 + y)d(2) 
end 
else 
type = 2 
a =Ü; B=0 
end 
快速 Givens 变换 的 应 用 类 似 于 普通 的 Givens 变换 . BU ERE Y Jë, 
当 的 变换 类 型 ,增长 因子 1+7y 仍 可 能 达到 2. 因 此 ,经 过 :次 更 新 
后 D 和 MM 的 元 素 可 能 已 增加 了 27". 这 意味 着 在 进行 快速 Givens 
变换 过 程 中 必须 对 对 角 阵 D 进行 监控 以 防 洲 出 .参阅 Anda A 
Park(1994) 看 如 何 有 效 做 到 这 一 点 . 
尽管 如 此 ,因为 MD “总 是 正 交 的 , 故 M m D 的 元 素 增 长 
总 是 受 控 的 ,快速 Givens 方法 的 舍 人 性 质 是 我 们 能 对 Givens XB EE 


技术 的 期 望 .例如 ,如 果 我 们 计算 怠 = AMD 717), REMADE 
M fü D 的 计算 解 , 则 Q 是 达到 工作 精度 || OT -Iu 的 正 
ZERE, 

3 g 


5.1.1 3 2={1,7,2,3, - 1]! 执行 house. 

5.1.2 "t x Hy ER LYAEF AR ,给 出 一 个 算法 来 Householder 4 EF 
P Ei Pr 是 y ARR. 

5.1.3 BRE, r, =le lt rh 6c MS 50, X = xz + 
e || ra lle, HERA P=] —2uu" ull, JE Pa SE EE B 38 Pr = — e | x || 2€1 

5.1.4 运用 Householder $B EF iE det( I zy) = 1 xl y, HP zy 
En 维 向 量 . 
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5.1.5 假定 re ^in -个 算法 产生 -个 形 为 


2 
， ce s cE tig | 
E 


2=| :=1 


Ay eB RB Oii. 的 第 PG 

5.1.6 Br. Br" F HU R u pj eRe TREK BAAD E Të 
用 Givens d dT ER PIERRE Q ROS y. 

8.1.7 ÑE c — cos( 4) Al s= sin(0)fh E 


c s]1'r5 13 
m: | Ma tol 

5.1.8. WE Q-I- YTY P EBE L YE CMTE RPO REA 
HE. dik BR EO. —QP, HP P= I— 2uul o'v E Householder FE. all Q, uj 
被 表 孙 为 0 ;= 了 + 了, T. YI Hop Y. CR OU A T, € AUT GD 
上 三 角 阵 . 

5.1.9 假设 第 让 个 Householder 向 量 的 基本 部 分 2920; + 1: n AER 
AG 1 四 中 ,给 出 一 个 算法 5.1.2 的 具体 实现 .由 于 A 中 已 经 有 效 地 表 
示 了 于 ,所 以 你 只 需 对 W 矩阵 做 好 安排 . 

5.1.10 tA: aR S BRM (ST= — S). MJ O = (Ir S)(I - 
S) l FEE. (0 被 称 为 是 S 的 Cayley TH). HE ARA 2 A S 使 
得 Qr FR Fu RAS 是 向 量 . 

5.1.11 假设 PC" He || PiP- rL |a= < 1,BEBB P 555 8 ñr e 
WHEKE -8.1te] F,H || P- UV! l =c e AF P= Uxv! E PA 
异 值 分 解 ， 

5.1.12 Re 4AEx**?, 在 什么 条 人 忻 下 A 的 最 近 旋 转 比 最 近 颇 射 更 近 ? 


本 节 注 释 与 参考 文献 


Householder XE FE [E A. S. Householder 向 得 名 ,他 使 得 Householder XE MF ñ: St lË 4 fr 
FP PNT 22 pur A. SRT eae APT Be 
H. W. Turnbull and A.C. Aitken( 1961). An Introduction to the Theory of Canonical Ma- 
trices , Dover Publications, New York, pp. 102—105. 
有 关 Householder 2538 HY H fb 3c BR LTS ; 
A.R. Gourlay{ 1970). “Generalization of Elementary Hermitian Matrices," Comp. J. 13, 
411—412. | 
B. N. Parlett(1971). “Analysis of Algorithms for Reflections in Bisectors,” SIAM Review 
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N. E. Tgao( 1975). "A Note on Implementing the Householder Transformations. SIAM J. 
Mum . Anal. 1£2,53—58. 
B.Danloy( 19768). “Om the Choice of Signs for Householder Matrices,” J. Comp. Appl. 
Math. 2 ,67— 69. 
J.J. M. Cuppen( 1984). "On Updating Trangular Products of Householder Matrices, " Nu- 
mer. Math. 45 ,403—410. 
L. Kaufmani 1987). “The Generalized Householder Transformation and Sparse Matrices, " 
Lin, Aig. and Its Appii 90 ,221—234. 
更 详尽 的 Householder 灾 摘 的 误差 分 析 见 Lawson 和 Hansou( 1974, 83—89). aR 
Householder 涟 表示 和 相关 计算 的 主要 参考 包括 : 
C.H. Bischof and C. Van Loan( 1987) . "The WY Representation for Products of Household- 
er Matrices," SIAM J. Sc. and Stat. Comp. 8 ,32—312. 
R. Schreiber and B. N. Pariett( 1987}. "Block Reflectors: Theory and Computation, " SLAM 
J. Numer. Ana’. 25,189—205. 
B. N. Parlett and R. Schreiber( 1988}. “Block Reflectors: Theory and Computation, "SIAM 
J. Nuon. Anal. 25 , 189—205. 
R. S. Schreiber and C. Van Loan( 1989). “A Storage- Efficient WY Representation for Prod- 
ucts of Householder Transformations. "SIAM J. Sci and Stat. Comp. I0,52—57. 
C. Puglisi (1992). “Modification of the Householder Method Based on the Compact WY 
Representation, SLAM J. Sci, and Stat. Camp. 13 ,723—726. 
X. Sun and C. H. Bischof( 1995). “A Basis-Kernel Representation of Orthogonal Matrices, " 
SIAM J. Matrix Anal. Appi. 16,1184—1196 
H W. Givens 而 得 名 的 Givens 旋转 又 被 称 为 Jacobi 旋转 , Jacobi 在 1846 年 以 这 些 
变换 为 基础 没 计 了 对 称 特 钙 值 算法 ,参阅 88.4. Given 旋转 的 存 傅 方 法 的 详细 讨论 参 
阅 : 
G. W. Stewart 1976). “The Economical Storage of Piane Rotations,” Numer. Math. 25, 
137—138. 
快速 Givens FA X Bl Bp B EREA ER, (Il S Given 变 搞 的 形成 都 需 既 过 求 
平方 根 运算 ), 有 好 下 种 方法 来 安排 快速 Crvens BHR, 
M. Gentleman (1973). “Least Squares Computations by Givens Transformations without 
Square Roots, "J . Inst. Math. Appi. 12 ,329-—336. 
C.F. Van Losn( 1973). “Generalized Singular Values With Algorithins and Applications, ” 
Ph. D. thesis, University of Michigan, Ann Arbor. 
S. Hammarling( 1074). " A Note on Modifications to the Givens Plane Rotation," J. Inst. 
Math . Appl .13,215—218. 
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J. H. Wilkinson( 1977). "Some Recent Advances in Numencal Linear Algebra, "in The State 
of the Art in Numnerwal Analysis , ed. D. A. H. Jacobs, Acaderme Press, New York, pp. 
1—53. 

A.A. Anda and H. Park( 1994). “Fast Piane Rotations with Dynamic Scaling," STAM J. 
Matrix Anal. Appi. 15,162—174. 


83.2 QR 分 解 


Fe TR a BE An faf pu FR Householder 和 Givens 变换 来 计算 各 

种 分 解 CE QR 分 解 .一 个 m X m JERE A BJ OR 分 解 为 
A=QR, 

其 中 QE "*" 是 正 交 阵 ,R EE :™*" 是 上 三 角 阵 . 本 节 中 我 们 假 
AE men RIKER ABRAM Q 的 前 x FUER 
ran( A )AY~~ZH TF 3 E. 因此 ,计算 QR 分 解 也 是 求解 一 组 同 量 之 
正 交 基 的 一 种 方法 .此 计算 可 按 几 种 方法 进行 .我 们 给 出 的 方法 包 
括 基 于 Householder, 分 块 Householder, Givens 和 快速 Givens 变换 
的 ,同时 还 讨论 了 Gram-Schmidt 正 交 北方 法 和 一 种 在 数值 上 更 称 
定 的 称 作 修正 Gram-Schmidt 方法 . 


5.2.1 Householder QR 分 解 


我 们 首先 讨论 利用 Householder 变换 的 QR 分 解 方法 .算法 的 
要 旨 可 通过 一 个 小 例子 来 展示 , 考虑 m=6, n=5, E House- 
holder HEH, 和 H. 已 算出 ,它们 使 得 


X X X x X 
Q x x x x 
0 0 @ x x 
MA 0 o @ x 
i0 0 @ x x 
Lo 0 @ x x. 
我 们 将 注意 力 集中 在 这 些 被 标记 的 元 素 上 .我们 要 给 出 一 个 
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Householder 矩阵 H, € 1757 448848 


CX x 
~ 0 
|- 
的 0 
OS Ü 
如 果 再 ; = diag( D, , Hs), BM 
X X x X X 
Ü x x X X 
0 Ü x x x 
H;H,H,A = 
0 0 x x 
0 0 x X 
0 0 x X 


照 此 执行 n RES ECTBEEHH, SSHIAASR, 令 Q= Hi… 
H, 我 们 得 到 A = QR. 
算法 5.2.1(Householder QR) Æ ACR", mien, K 
算法 计算 Householder 4E È H- H, BA: eR Q = H e H, , 2] 
加 4 一 只 是 上 三 角 阵 ,4 的 上 三 角 部 分 被 足 的 上 三 角 部 分 履 盖 ， 
第 j 个 Householder 向 量 的 j T 1: m 2 X fT AC 135:m,j), 
jum. 
for ; —1:» 
[v,B8] = house( A (jim, j) 
A(jim,j:n) = (a-p 7 Bool)A Gim, jin) 
if ; < m 
A(Gj+l;m,)j) = v(2:m - ; t) 
end 
end 
本 算法 需要 2n?^(m-—n/3)fT flop. 
为 说 明 A 是 如 何 被 覆盖 的 , 设 
v? - [0,0, - 0,1 vU) re v? ]T 


— 


4 l 
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是 第 j 个 Householder 耐量 ， 则 算法 执行 完毕 时 
Fil 六 12 F3 F 14 Ps 
vs? Fr». Vo Fo ras 
uy vy? r34 Fad 7 35 
vj" vi? vi? ra raj 
| v (D vi? v9 vf ra 
[o vf) aD sp? of 
如 果 需 求 出 矩阵 Q = H, H, , UTS. 1.50 mi BUS sl. SUR 
76 4(m?n — mn? + 13/3) flop. 
所 计算 的 上 .三角 和 矩阵 R 在 满足 ZT(4 + E) - RRL ER 
一 个 附近 的 A ZARAR, HB z BRANES H |E | 
axe || A |l 2. 


5.2.2 442 Householder QR 分 解 


算法 5.2.1 含有 大 晤 的 矩阵 -向 量 乘法 和 外 积 修正 等 2 级 运 
算 .通过 重新 组 织 计 算 和 应 用 5.1.7 节 中 讨论 的 分 块 Householder 
表示 形式 可 以 得 到 一 个 3 级 运算 方法 .其 思想 是 应 用 一 组 如 5. 1.7 
节 中 的 WY 形式 表示 的 Householder 变换 . 

一 个 小 例子 可 以 说 明 主 要 思想 ,假定 n= 12 且 分 志和 参数 yx 的 
值 为 r =3. 第 一 步 是 如 算法 5.2.1 那样 生成 H I H, 和 Hs. 然而 不 
像 算法 5.2.1 那样 将 H, 作用 于 整个 44, 我们 只 将 Hj, H 和 H; 
作用 于 ACLL1:32. 做 完 这 些 之 后 我 们 生成 分 块 表示 式 H H-H, 
= 了 + WY] ,然后 进行 3 级 修正 

A(C:,4:12) - (I+ WYTJA(:,4:12) . 
F “: 步 , 按 算法 5$.2.1 生成 H4, H; M H, RMEBASGRERE 
A H,H.H,= I+ WY) 之 后 才 将 这 些 变换 作用 于 AG,7:12). 
这 就 是 整体 构想 . 
A=1; Ë =0 
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r — —-n a o ee eye aur us ñm a 


while As.” 
r—min(A*r-1l,n); =e +1 
用 算法 5.2.1 KZA ACArm,Azin) 
得 到 Householder 4E FE H, e, H,. (5.2.1) 
用 算法 5.1.2 得 到 块 形 式 
I+ W,Y,'=Hy.-, H, 
A(A:m,.,z+1:n)= (I+ W,Y,U! A(A:m,c *d:n) 
A=rtl 
end 
HFE H, H. 的 Householder 向 量 的 零 - 非 零 结构 表明 
着 WK 和 YK 的 前 4 一 1 行 都 是 等 . 该 事实 在 实际 应 用 中 可 利用 . 
考 虚 {5.2.1) 的 合适 的 方式 是 进行 划分 : 
ASLA e, Axy], N=ceil(a/r), 
其 中 列 块 A, 在 第 & 步 被 处 理 . 在 (5.2.1) 的 第 上 Tb, POR 
Householder 形成 且 将 A, 的 次 对 角 线 部 分 化 为 0. 余下 的 列 块 也 
tk EB 
(5.2.1) ROB A PEHEE E SARK 5.2. 1 相同 .由 于 W 矩阵 
的 计算 ,所 需 的 flop AAA E. SRT HE A y EC £l REL ER — RR 
分 外 所 有 的 flop AB At 7E A Ae HE. 确切 地 说 ，(5.2.1) 的 3 级 运 
算 比 例 约 为 1 -27N .详细 内 容 请 参阅 Bischof 和 Van Loan 
(1987). 


5.2.3 Givens OR FR 


Givens 旋转 也 可 用 来 计算 QR 分 解 .用 一 个 4x3 阵 的 例 村 足 
以 表明 其 一 般 思想 ， 
x x Xx 


(3,4), (2,3) 


ce x x X 
X X X X 
x X X X 
c o x X 
X x x X 


X X X 
x x X 
X A X 


x x X] x x x] X x xI 
0 x «oa Ü > «ex lo x X , (3,4) 
0 x ñ 0 x x 0 0 x 
Q x x 0 0 x Lo 0 x 


这 里 我 们 注 明 的 2 向 量 , LE Š Y BW Xd W BJ Givens 旋转 .很 显然 ， 
如 果 G; 代表 在 约 化 过 程 中 的 第 7 次 Givens 旋转 , 则 Q TA = R XE 
EZAK, Ep Q= GI: G... B. + 是 旋转 的 总 次 数 .对 于 一 般 的 
m Hn 我 们 有 下 列 算 法 . 
算法 5,2.2(Givens QR) 给 定 ACK" ", H mien ARS 
YA Q'TA=RBSEAHPRALAAR,O ALE. 
for ;—1:n 
for: —m:—1:;*1 
[c,s]=  givens( A(; 1,5), ACE Lj) 
T 
AG-Li,jin)=| Ë °| AG: - l:i,jl n) 
-s c 
end 
end 
本 算法 需要 3n* Cm — n/3)f flop. 注意 我 们 可 利用 {5.1.9) 将 
(ec ,5) 通 过 单个 o KR, BS RE EE BET OL [b ES ACG). 
TIRICS. 1. 10) Bf LITA x91 的 运算 ,但 要 仔细 重组 这 些 旋 
转 的 顺序 . 
对 上 三 角 阵 也 采用 其 他 上 硕 序 的 旋转 变 措 ., 例如 , 如果 我 们 用 下 
面 的 语句 取代 算法 5.2.2 中 的 for 语句 
for i=m:—1:2 
for ;=1:min!i—1,n| 
WA PRI Bsc eT S MER. 
Givens QR 方法 的 男 一 个 因素 是 将 ay MFH aT. 例 
如 ,为 使 a; 变 为 0, 如 不 像 算 法 5.2.2 中 那样 对 第 1-1 行 和 第 i 
行 做 旋转 ,我 们 也 可 对 第 ; 行 和 第 i 行进 行 : 
for ; —1:z 
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forz—-m:-—1:,*1 
[c,s] 7 givens(A G2, ACE) 


gl 


` T 
AQj in)=| "| ACG lj) 


end 
end 


5.2.4 通过 Givens 变换 的 Hessenberg QR 47 
作为 Givens 旋转 应 用 于 有 结构 的 问题 的 例子 ,我 们 说 明 如 何 
将 其 用 于 计算 上 Housenberg 阵 之 QR 分 解 .一 个 小 例子 可 以 表明 


其 一 般 思 想 : ` 
假定 n =6, 且 经 过 两 步 变换 后 ,我 们 计算 得 


x X x X X X 
Ü x x x Xx X] 
GQ,3,0,)!G(1,2,0,))!A- 0 1 ° - . 
0 0 Q x x x 
0 0 0 0 X Xj 
然后 计算 G(3,4,0;) 来 将 当前 的 (4,3) 变 为 0, 于 是 得 到 
X X X X X <| 
Ü x x x x X 
G(3,4,01 GQ,3,0,)! G(1,2,0,)! A = 1 o 1 _ ij 
0 0 0 x x x 
0 0 0 0 x x 


综 上 我 们 得 到 : 
$885 5.2.3(Housenberg QR) de A C 977^ X E Hessenberg 
阵 , 则 本 算法 用 QIA—R BE AUXT QUGUEXEXIE,R ALAM 
Ë Q = G y: G, 1 是 一 组 Givens HARE, A P G, BAAG, 
=G j 41,8). 
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for ;=1lin--1 
[c,s]— givens( AC? ,92, AG +1,7)) 


T 
C + 
AG A+ 1g nd= | | AG +1,jin) 
—s c 
end 


ATE 34? 个 flop. 
5.2.5 快速 Givens QR 分 解 


我 们 可 以 利用 5.1.13 节 描 述 的 快速 Givens 变换 来 计算 Q 的 
CM, 让) 表示 形式 .具体 地 说 ,如 M 是 非 奇 异 的 ,D BARA 
是 M'A4= 卫 是 上 三 角 阵 ,MTM — D 是 对 角 阵 , 则 Q = MD 1⁄2 E: 
IEXEE.H Q'A=D '^T-R ZE E AB. 2840 F Givens QR Jr 
法 我 们 有 : 

算法 $.2.4( 快 速 Givens QR) 给 定 AC L7" Bm Sn K 
Piet RAH MCR" $o I 65 d(1:m Mek M'A=T A 
上 三 角 阵 , 且 M'M=diag(d,,--,d,). ART #A. i$ A = 
(MD ')(D'^T)X A HOR 分 解 . 

for i = l: m 
d(i)-1 

end 

for ;=I1:7-1 

for i=m:- 1:3 +1 
La, f,type] = fast. givens(A Ci -~ I:2,5),d (12 — 1:12) 
if type= 1 
B 


Aí(i-1l:i.: =| 
(i ijin) 1 


1 T 
| A(i-lii,j:n) 
a 
else 
1 T 
AG- Iii jim) |, "| A(i—-1:i.jin) 


end 
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end 
A AEE 22 (m — 1/3) flop. ERE- - 节 所 提 到 的 ,有 必要 
防 上 小 上 述 的 快速 Givens AIEA be. 这 意味 着 如 果 M, D HMA 
变 得 很 大 时 要 定期 对 它们 如 权 缩 小 . 

如 果 要 对 一 个 罕 带 状 的 矩阵 做 QR 分 解 , 则 快速 Givens 方法 
就 很 有 吸引 力 , 因 为 它 不 涉 平 方 根 运 算 . CE TREE IR PRIME E 
LIL? tk Cholesky 分 解 更 令 人 喜欢 也 基 出 于 相同 的 原因 ,参见 
4.3.6 5). 具体 地 说 ,如 果 AC Re EH XN. FERA p, 
则 QTA=R 的 上 带宽 为 p+g, 在 这 种 情况 下 ,Givens QR 8X £3 
O(np( p * q))- flop 和 O(np) 次 平方 根 运算 . 因 此 ,如 pp,9g 安 
,平方根 运 算 在 整个 计算 中 后 相当 比重 . 


5.2.6 OR 分 解 的 性 质 


王 面 的 算法 “证明 T QR 分 解 的 存在 .现在 我 们 讨论 Q 的 列 
向 量 与 ran( A) ran(A)+ AY RAL R BR QR 分 解 的 惟一 性 问 
题 . 
定理 5.2.1 Ae A= QR 2 — F ARBRE ACR” QR 
分 解 , 且 和 =[a an), 0 7191,77, qu 1E — PEA 8 3E Wi 
spania1,,a4l = spanigis , gil. k — dm. 
确切 地 说 ,如 果 Q = Q(1:m,l:n)fe Q. = Q(1:m, n t 1: m), 
则 
ran{A) = ran( Q4) 
ran( A)! = ran(Q;) 
BA A=Q R, HP R,- R(0:n,10:n). 
WEAR 比较 A — QR 的 第 & 列 , 我 们 有 
ap = 2 ragi € spani gis sgal. (5.2.2) 
国 此 ,spanlai ts apl &spaníiqi, tagl .然而 ,由 于 rank (A) 
= n JEA spania i, a ER k, BUS F spaniqis s gel, 
定理 的 其 余部 分 显然 成 立 . [] 
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eR Q — Q lim, lind MQ.-(Clim,nt+1:im AA Q 的 
因子 形式 很 容易 地 求 出 . 

WR A — QR EA WORA, BP AC o7", B mæn, W 
RATER A= Q(: lD RCI: n,1:n2)2938723 QR 分 解 ， 下面 的 结 
iE £8 ih T AVE RHE — tE. 

3E3H 5.2.2. BEAC "HABA, MRA QR 分 解 

A= Q IR; 
Aii BP Q € SA G X Ja 32 EX RIS AS SEX 
4035 E Z ñB. m R R =G, k p G # A!A 65 TF — ñ 
Cholesky 因子 . 

WEBB d ATA = CQuRDT(QuLR)) = RR, HJ St H G = 
Ri Æ ATA 的 Cholesky 因子 .从 定理 4.2.5 可 知 此 因子 是 惟一 
的 .由 于 QQ1= ARI !, f& Q, 也 是 惟一 的 . 品 

A PHS EU BIO, WR, 的 呢 ? 为 回答 这 个 问题 ,我 
f Tog S235 2& F EJ IARE. [HS TE 2.7.3 Tt, — PSR at FÉ 
方 阵 的 2 范 数 的 条 件数 是 最 太 和 和 最 小 奇异 值 的 比 . 对 于 列 满 秩 的 
ABE ,我 们 继续 用 这 样 的 定 父 : 

Fray A ) 

Oui A)’ 

如 果 A 的 列 是 接近 相关 , 则 eol ASRA. Stewart (1993) uEH] Y 
APOC) MHAWRESSR R SQ, 中 Oler CADO?) WAM IR 
A. 


5.2.7 #88 Gram-Schmidt 算法 
现在 我 们 讨论 直接 计算 QR AH A = Q R, 的 两 种 不 同方 
法 .如 果 rank( A ) = n, WT f2(5.2. 22 RT R g: 
ge = (ax 一 S rua ) rg. 
这 样 我 们 可 以 认为 q, 是 在 
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A € Rm, rank(A) = z= = (A) = 


&-1 
=Z T a, C 2 raq 
方向 上 的 2 范 数 单位 向 量 , 为 保证 z, C span| gq1,…, gs |. RM 
选取 
ig = qiu, i=1:k-1. 
由 此 导出 解 A = Q R, 的 经 典 Gram-Schmidt(CGS) BE: 
R(1,1)= ll AC, Dia 
Q(:,1)=AC:,1I)/RO,1) 
for £ —2: Tx 
R(1:2-1,2)=Q(1:m,1:8 - DTA(1:m,£) 
z—A(1:m,k)— Q(1:m,l:&k- DR(1I:&- 1,5) 
(5.2.3) 
R(k,k)= | =! ; 
Q(l1:m Ë)= 2/R(E,k) 
end 


ft CGS Mk 7b "En Q FER HR e p|. 
5.2.8 修正 Gram-Schmidt 算法 


可 惜 ,CGS 的 数值 特性 非常 坏 , 因 为 所 计算 前 q, 之 间 的 正 交 
性 常常 会 严重 损失 .有 意思 的 是 ,改变 计算 的 次 序 , 便 得 到 称 之 作 
EIE Gram-Schimdt( MGS) Zr ik , 3x E — T up 5&18 Z By H: E ERE. 
在 MGS IB £ 步 ,需要 求 出 Q 的 第 天 列 (用 a, 表示 ) 和 RR 的 第 


行 ( 用 rl 表示 ) 为 导出 MGS JE, E X BE A (£) € 
mx (n k + 1) ay 


Bodl m 
A-2,qr] = Dgr! = [0 AM). (5.2.4) 
i-i i-i 
因此 ,如 来 
AV =[z B], 
yj Fh i = ll 2, Gp =2/ry VAR (ry pei ra ) = q1B.x air ERA, 
Bi AC*U-B-qisiar re HARP HE. BU, 我 们 完成 
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了 MGS 第 & 步 的 摘 述 . 
算法 $,2.$( 收 正 Gram Schmidt) 给 定 A C. "*", rank 
(A)=n Kiki tit A= QIR i, E p Q Corn, SIME 
EX,R E LERE. 
for & = 1: n 
R(k,E)= ! Alim, k) llo 
Qll:m,k)SA(li:m,k)/RCR,k) 
for ;=At+1in 
Rk, D= Q(1Y:m,R)'ACI:m,;) 
AQlim,j)=AClim.j) - Q(1: m kR, j) 
end 
end 
ABU 2mn- 个 flop. fe Q, MR, 都 储存 本 A EAn BEN. 
MGS 计算 的 典型 安排 是 使 4 EO, Em, BER R 存在 另外 的 数 
组 中 . 


5.2.9 工作 量 和 精度 


如 果 对 求解 ran CA ) 的 正 交 基 感 兴趣 ,那么 用 Householder Jr 
法 产生 因子 形式 的 口 需 2zz -2n° 个 flop, 计 算 8 RIR n 54 
还 需要 2mn? - 27/3 个 flop. (这 只 需 注 意 (5.1.5) 中 8 的 前 > 
列 ). 因 此 ,对 于 找 ran( A ) 89 (E 32 4E, MGS 的 效率 要 比 Houscholder 


正 交 化 高 一 们 .但 是 ,Bjarck (1967) 证 明了 MGS 法 计算 的 0 = 


QI Q i= I+ Ems, | Fics || 282282 ( A), 
而 Householder F E HMA RE 
OT Q = Li Ep, | Ep 1279 u. 


E , OAR F 38 HE Ee RE, WW 5 88 1E AAE 8 16] á Th y T ri BU f 
E A ADF MGS ERER XC. 
» 2688 * 


同时 我 们 指出 由 MGS 法 解 出 的 二 第 因子 R BR 
!lA-QR <p || All, HRE-THASSERANGEN Q 


使 得 | A- QRÍ = «| A ||. SPB Highan( 1996, 379 H). 
(5.2.1. de X p iE Gram-Sehmidt 方法 应 用 于 


1 1 
a= jo ` Ü | r(A) & 1.4410), 
0 10^? 
AM 6 GARE E, WJ 
[1.00000 0 5 
[3,.35]- ! 0.001 —0.7071071. 
| 0 0.707107 . 


5.2.10 KFS QR 分 解 的 一 点 说 骨 


本 书 中 我 们 纵 出 的 大 部 分 算法 都 有 其 适用 于 复 矩 阵 的 形式 ， 
它们 可 从 相应 的 基于 实数 的 算法 直接 地 得 到 . (但 这 并 不 竺 于 说 在 
实现 上 - 切 都 非常 容易 和 显而易见 ). 为 长 明 这 一 点 ,我 们 简略 给 
IB ESRB SERT QR 分 解 算法 . 

首先 讨论 Houscholder Æ $ TIE Re 075 x OOH r = 
ref Hep, gece WR ¿= + t el? || x | se P= L, - Boo", B= 
2/o4y M) Px = Fe? || x |,e 080,238 55.1.3). 为 计算 稳定 , 符 
SERIE | v do 最 人 . 

ACT" mien 进行 上 三 角 化 , 按 算法 5.2.1 进行 .在 
第 j 步 ,将 A(j:m,7) 的 次 对 角 线 部 分 消 为 0: 

for ;=1:7 
r=A(j:m,j) 
v-—x te || x || 281 这 里 z, = ret 
B=2/ute 
A(j:m,j:n)= (L, - 4 7 Bou DAGimijin) 
end 
. 269 ， 


-Oo C—O CO 一 — 


此 约 化 需 Sn*(m - n/3) T X: flop. 约 为 执行 算法 5.2. 1: 的 四 倍 . 
AQ = P,---P,, 是 Householder Je BE ASR O Pe H 
QA-RCZ"""EE] EERE, 


2] 题 


5.2.1 改写 Householder QR HE, HAE RED S Rb aE A eK 
带宽 为 p, 上 | 上 带宽 为 ë 的 情形 . 

5.2.2. 改写 Houscholder QR 算法 ,使 其 计算 分 解 4= QL ,其 中 于 是 下 
—jRPE.Q EXP. RE A RAR. xW g =] 8 = Householder in) Et A FE v 
= bouset x MEE CE 2zm l Zulu) 除 最 后 - -个 元 素 外 均 为 0. 

5.2.3 改写 QR 分 解 算 法 使 满足 在 对 角 线 上 引信 零 元 , 即 按照 顺序 将 
Gn,l)(m L Olm, DOn -2,1)0 m -1,2 m 3283638 HO. 

5.2.4 LT; TR Givens QR 分 解 算 法 使 得 它 能 有 效 处 理 鼻 是 zxn 的 
三 对 角 阵 的 情形 ,假定 A 的 下 次 对 前 线 、 对 角 线 .上 次 对 角 线 身 别 有 贮 于 
ellin- Dallina) /((0:n — 0f. BH f 9 FE Dk an qe] Ho THIEF 
ADS} pa. 

5.2.5 BELEGO”, mien 是 下 二 角 阵 ,证 明 Householder 5B [i 
H A, ST AEA FAL € ee 


TL, 
H, H L = | Ü . 


提示 :如 6x3 阶 阵 的 第 二 步 涉 及 到 确定 H, 使 得 


x Q0 0 x Ü 0 
x x Ü x x Ü 
X X x x x x 

H, = = ' 
x x Ü x Ü tu 
x x ( x 0 OQ! 
x x o) [x 0 ol 

有 邮 只 有 第 一 行 和 第 三 行 保持 原样 . 
5.2.6 证 明 , 如 果 
R TL Ë C k 
6 Il = (2) 
Ü Ç Im — Ë dim — Ë 
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H A BER min || Ar - 5 | $= | a d 3-- oldi v li sy. 

5.2.7 [BE AC C8 D-diag(dic.d,)€ 和 ”给 出 一 个 方法 来 
构造 一 个 正 交 阵 Q (FIR OTA DOTI= 下 是 上 一 前 阵 .不 必 考 虑 效率 问 
题 一 一 这 只 是 QR 磁 法 的 一 个 小 练习 . 

5.2.8 给 出 一 个 方法 计算 乘积 4= 和 44 的 QR 分解 ,但 不 显 式 地 将 
Ay, A, HR. SEAR E p=3 的 情形 ,034 = 034,020) 420/014, RAE 
Q, 使 得 OT(AQ,- 1) 是 上 三 角 阵 (Qo 一 由). 

5.2.9 假定 Ac i?" E REL, 的 行道 序 排 阵 得 入 的 置换 阵 
(BI $ 4.7 PERRA), CATER R € 0E bo, I L= ERE 
是 证 三 角 阵 .fb 指出 如 何 计算 正 交 阵 g € ç m F = f BE L € 3*** 使 得 
A= OL ,假定 已 有 OR 分 解 的 算法 . 

5.2.10 ACux""" EH MGS 与 

ài] 
LA 
上 的 Householder QR B5 38 — iE TERIA F de S5 fr B3, Hh O, dE n x à HEH 
BE. HERA Pah UTE 8958 APT Sole be ng r. 

5.2.11 逆转 算法 5.2.5(MGS QR) 中 循环 的 次 序 使 得 R 是 按 列 计算 
fe. 

5.2.12. SAAIER Givens QR HRT 25,25 BL S. 1.5, Hp EX 
EF Givens 旋转 是 主题 ,能 理 组 织 计算 过 程 使 得 ROSE PR ou dE a? 
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85.3. KI LS 问题 


考虑 如 下 问题 : 找到 向 量 rE ER Ac =b, HP REE A 
Cg n UNE E b € x" BE, men. WRAT ETRA 
量 个 数 ,我 们 称 方程 组 Ar = 65 基 超 定 的 , 超 定 方程 组 通常 没有 精 
确 解 ,因为 它 要 求 上 5 必须 是 x* 的 真子 宝 间 ran 有) 的 一 个 元 素 . 
这 一 事实 启发 了 我 们 , 可 以 考虑 对 其 适当 选取 的 p, 46 J 4k 
|| Ax — b [b ;. 不 同 的 范 数 纵 由 不 同 的 最 优 解 ,例如 A =[1,1,1]， 
b — [51,605.53] ,并 且 628.2630, WI RT UL uE : 
plu = 2, 
p—2— Xo = (bi + bat b3)73, 
pco zr (bi t bs)/2. 
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TE P FEA ore RTA On FORDE PER 28 f AAT 
Hop (PAR Ix || Ax 6l, EAS BT ORE. f EX B o 
取得 长 是 的 进步 ,已 有 - 些 好 的 方法 可 用 于 1 Pe reo fs CR TE 
小 化 ,参阅 Coleman 和 Li( 1992) , Li( 1993) 81 Zhang( 1993). 

与 一 般 的 p ña $k hz | FE RA — 3E [RT a 


rain | Az -& if, (5.3.1) 
更 容易 ， 因为 以 下 两 个 原因， 
$73 | Arc -b]|3X x do 4k s 3k 3k $ S S A 


时 ， BASRVAGI-O, ik — AiR 5 A Ee 31) io GRR, 
MAL A APRH, CEER. 
(2ERAELRRME AE RERAAMNFRFR-ER 
BE Q RE He aM | (Q'A)z - (A! 6) | :的 最 小 化 容 
5. 
A PEFR [BH POR dE A 为 列 满 秩 时 这 两 种 求解 方法 .我 们 
将 详细 给 出 并 比较 基于 法 方程 和 QR 分 解 的 方法 ， 


5.3.1 满 秩 的 实质 


BE CCH".zCG^, HM aC SB 
l ACz + az) — b || 
= | Ar — b|| + 2az’AT(Ax — b) 十 e || Az l$, 

其 中 ACR” MSE 2”. W ar Æ LS EEG. DRR, IGE 
A'(Ax b)=0. 50W, ul 4X z5 -A Ar- 5), Hf a BB, 
5j $4112: 8 Bl — "P JHZP BSA | AC ae t+ az) b || >< || Ax 
~b |2. 我 们 还 可 得 出 结论 :如 工 和 x +az 部 是 LS 的 极 小 解 , 则 
z € nuil( A}. 

因此 ,如 果 A FE RS, EE PE BJ LS E x sv 
是 对 称 正定 线 性 方程 组 

六 i 及 tIs = Abb 
WR. 这 方程 称 为 法 方程 组 .由 于 V$(r) = 4T(Ax - 5), 其 中 
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B(x) =F) As -4 上 3, 轩 此 求解 法 方程 组 等 同 于 求解 稀 度 方 各 
V$=0 .我 们 称 
rig— 5 ATs 
为 最 小 剩余 ， 用 
gus | Axis— 6 ll > 

表示 其 大 小 . SEXE. 如果 ers 很 小 , 则 我 们 可 从 A EU SU CET 出 
b. 

$8 F] B 2 ip d [LL ARR ACK "RE , RITE 
$5.5 W hi. 然而 ,即使 rank(Ad=2,4 A BIRR SHH, EU 
Z5 UB BS UT EE th Se PA BERE 

当 评估 一 个 LS ARAIRE, ARAD REESE , 

“Fish SEXE rus? 

© 与 rs—b- Ar stilt, fF s= b Ads Bb? 
EAB [PBS Bik RH rh X 3 28 b EES EPS FS 4H In]. (EAS fe] TRE F 
都 应 知道 4 各 的 扰动 是 如 何 影 响 x1s 和 ris 的 .直觉 告诉 我 们 如 
SR A 的 列 是 接近 相关 的 , 那 这 些 量 会 很 灵敏 


例 5.3.1 RE 
1 0 0 0 1 I 
A= 10°" |, dA = 0 =o | 
0 0 0 10? 1 lo 


ryusfexjis53M&IAs-651;41CA*3A)x-(b db) lo RF 
H-E, bris 和 ?1s 分 别 是 对 应 的 最 小 余 量 ， 则 


ism [o aao.) 
zis = [gf dis 0.9999 - 194!” 


0 Ü 
ris = lOl, Pis = |—0.9999- 10°]. 


| 0.9999 . 10° 
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因为 «2(A)=10°, 我 们 有 
| BA |; _ 


| Fis rps | 2 

Iss 11,9. 999g gelap 2 = 9.9 58, 
| ELS | 2 | A 2 

lI ris — rs lo 一 了 -一 i GA PM 4 a 
I b T ze. 7070 10 Sl A) | A P = IO" *10 - 


Xa FAVS AE rs ARIER Tool 4) ,本 节 的 最 后 我 们 
将 研究 LS 问题 的 扰动 理论 并 会 重新 所 到 e CAO? AF. 


5.3.2 法 方程 组 方法 


求解 别 满 秩 的 LS 问题 详 用 最 广 的 方法 是 法 方程 组 法 . 
算法 5.3.1( 法 方程 组 法 】) 给 定 ACR” RA Mrank(A) 
= 和 ER™, 本 算法 计算 LS 问题 min| Ax — 6 || ;58E x s: 
HE C= ATA ATZARS 
a= Ab. 
计算 Cholesky 分 解 C = GG. 
解 Gy= d fe Gl'urus= y. 
本 算法 需要 Cm 二 nA/3)n? 个 flop. 法 方程 组 法 基于 许多 标准 算法 ; 
Cholesky 分 解 , «i E E FERRI , 符 阵 -向 量 乘 法 等 ,因此 很 方便 .将 
m Xm 数据 矩阵 A 压缩 于 CEDA X n B X FE BU CO 
法 很 可 取 ， 
下 面 我 们 考虑 法 方程 组 的 计算 解 2us 的 精度 . 为 清晰 起 见 , 候 
定 在 形成 C= ATA 和 d = Alb RRA RARA REMAR 
SE us ORAL It BA ERRE ER AGA). 从 我 们 
所 知 的 关于 Cholesky A FAA A TE IRE 4.2.7 节 ) 得 到 
(ATATE)Zs=A'‘b , 
Fp || E æg || ATA | 3, 因此 我 们 期 望 


TZ Ea ue (ATA) 7 aes A? (5.3.2) 


AY, ,法 方程 组 计算 解 的 精度 依赖 于 条 件数 的 平方 . 这 与 例 5.3.1 
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是 吻合 的 ,在 5.3.9 节 中 将 给 出 更 详细 的 结论 . 
例 5.3.2 要 指出 的 是 ,形成 ATA 的 过 程 中 会 导致 严 重 的 入 


| 1 | , 2 | 
A=|10° 0 |, b= 1077], 
0 107% d0 3J. 


BE z (A)221.4:10 xis [3 1]. E. pas Ü. RAA 10 为 
KR, KE t=6 ORR, 法 方程 组 法 就 会 在 计算 过 程 中 产 
生 除 零 溢 出 ,这 是 由 于 


TD ! 
FLATA) Ll | 


是 奇异 的 . 另 一 方面 如果 采用 7 了 位 数 运 算 ， 则 frs = 
[2.000001,0]7, || Zis- xis 4 2/ ll xis || 25l A Y. 
5.3.3 RH QR 分解 求解 LS 问题 


it ACE") mon EK" 给 定 ,假定 已 计算 得 一 个 正 交 
阵 o € Rm "ik 


_ IR it 
QTA=R=[ | (5.3.3) 
是 上 三 角 阵 .如果 
oo 
则 对 任意 2 CRA 


llAr-bla—-lQ'Az-Qgibelis- I R,z—clH3+ lal. 
显然 ,如 果 ranki A) = rank( R4) = n, Wash F — # P # šB 
Rixzjs=c 定义 .注意 到 
pus id la. 
RIAH, -BEAT A 的 QR 分 解 , 则 满 秩 的 LS 问题 就 很 容易 
求解 .细节 有 赖 于 精确 的 QR 分 解 ， 如 果 使 用 Householder B P£ R. 
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KH OT 的 因子 形式 ,就 得 到 如 下 算法 . 
算法 5.3.2(Householder LS 解法 ) wÆ AC """ 51x 4X 
的 , 且 bC @ ARATE AS roe: "HE || Arig ll: $ 
d. 
利用 算法 5.2.1 K A €) QR 分解 并 覆盖 A 
for ;—1:n 
v(j)-1; v(j *1:m)— AG * 1:m,j) 
b(j:m)- CL, a Buo )6( im) 
end 
用 向 后 消去 法 求解 RO InIb:im)ris— bilin). 
用 这 种 方法 求解 满 秩 LS n] Em V 2n^(m — n/3) t flop. BT b 
所 需 的 OCmn) 个 flop 和 向 后 消去 所 需 的 O (n?) 7 flop 与 分 解 A 
AYE a HH EG E AS A 38 DJ. 
可 以 证 明 计 算得 的 是 
min || (A + 8A) x — (b + 8b) 1; (5.3.4) 
的 解 ,其 中 
ll šA || p< (6m — 32 +41) ng H A| £ + OC), 
(5.3.5) 
| 85 l|; x; (6m — 3n 1 40) np | & lo + OC. 
(5.3.6) 
这 两 个 不 等 式 是 Lawson 和 Hanson(1974, 90 5i) € Bj, 3E ELTE 
出 Ls 满足 一 个 “接近 ”的 LS 问题 (在 建立 LS DE O38 ie 89 . 311] 
还 不 能 给 1s 的 相对 误差 ,该 理论 很 快 就 要 讨论 ). 要 指出 的 是 如 果 
应 用 Givens QR 分 解 也 有 类 似 的 结果 成 谍 ， 


§.3.4 接近 秩 亏 时 算法 失败 


如 同 法 方程 组 法 ,如 果 rank (A ) < n, WR LS [nj m B 
Householder 方法 就 会 在 问 后 消去 阶段 失败 .数值 上 ,只 要 x2 (A) 
= kg ( R)2«1/p 就 会 出 现 麻 烦 . 将 其 对 比 于 法 方程 组 法 ,后 者 一 旦 
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kl A) SF 17 u 的 邻 域 中 ,Cholesky 分 解 能 否 完 成 就 是 个 问题 
(参见 例 5,3,2). Ath Lawson I Hansen(1974, 126 一 127) 宣 称 对 
于 国定 的 机 器 精度 Ju H| Householder IF 32 fF Jr ic; n] oR RK ui d 28 A1 
的 LS 问题. 


5.3.5 MGS 方法 的 一 点 说 明 


实质 上 ,MGS 方法 计算 瘦 型 的 QR 分 解 A = Q R 2209 8221 
满 秩 的 LS 问题 足够 了， 央 为 它 将 法 方程 组 (ATA)zx = Alb 变换 
成 上 三 角 方程 组 Rix = Q b. fH Ql b WÀ Rb) RAT, OP 
法 却 引 出 一 个 CAO HMR. 这 是 由 于 所 计算 的 因子 如 | 满足 


| OT ĝi- L, llo epus CA) JRE 5.2.9 WHA, 

然而 ,如 将 MGS ARTIK ER 

R, x 
A.- [A b]= [Q tai l| 1 "|. 

则 z= Qi15. 按 这 种 方式 计算 015 WH R Iris = z 得 到 LS 解 
£155 Householder QR 方法 得 到 的 解 样 好 .也 就 是 说 , 撒 如 
(5.3.4) 一 (5.3.6) 的 结果 是 适用 的 ,参见 Björck 和 Paige( 1992). 

需要 注意 的 是 因为 MGS 总 是 对 m 向 量 进 行 运 算 ,而 House- 
holder QR 人 狂 理 更 短 的 和 启 量 , 故 前 者 比 后 者 开销 要 稍 大 一 些 . 


5.3.6 LS 问题 的 快速 Givens 解法 


也 可 以 应 用 快速 Givens 变换 来 解 LS 问题 . 假定 MM =D 
A XJ ffi EF B. 
ui H 


M'A-| 
0 


yÁt — n 


是 上 三 角 阵 ， 如 时 
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7 - n————————————————snau PP dd 


则 对 于 任意 ee `" 8 
| Ar —6 ($= iD 


一 | .2 


M'(Ar- b) (5 


aei 
A'UO— 
.- O d 2 


BREGE a RA EAH Syre His ays. 

aj LLuEB] iz #h Jy 3X8 SUITE R s FES. 3.4) ~ 05.3.6) 
XP ELS AAPEA AE E A, AAA RDS 
出 现 大 数 . 每 经 过 一 次 快速 Givens EA, MA D 中 的 元 素 就 
可 能 翻 倍 .然而 . BY EAE RESI H M 的 增 太 来 补 殿 , 轩 为 在 整个 
ipm DUM BIE SI. EER -现象 才 使 人 们 能 得 到 很 好 
的 误差 分 析 . 


5.3.7 LS 问题 的 灵敏 性 


下 而 给 出 扰动 理论 , 它 有 助 于 比较 LS 问题 的 法 方程 组 法 和 
R 分 解法 .下 面 的 定理 考虑 LS 问题 的 解 以 及 剩余 是 如 何 受 A 
和 5 的 变化 的 影响 .为 此 ,要 确定 LS 问题 的 条 件数 . 
在 分 析 过 程 中 需 用 到 两 个 显 而 易 抑 的 事实 : 
| A lly (ATA) TAT los zo (A), 
|| A lls Il (ATA) l|. = = (AX. (5.3.7) 
这 了 两 个 方程 可 用 SVD 来 验 让 ， 
定理 5.3.1 Re r, r, cer BA 
lAxz—b|;- min r=-b-Ac 
| CA - 8A)2 - (b t db) |l; 2 min £?-(b* b) - (A + GA) 
其 中 A SA TO Emæn, M ób E TU. je 
| óA || à 2| CA) 


€ = max I T 


2” IE I> 1 5,4) 


z 


= |p| 


+ PRG: 


— MÀ ru r—áp 


其 中 pis= || Axis- b liz, WJ 


| ^ — rl [2«5( A) 
Izd $5 sx 


t ian(8)5( A? | | O( e?) 
(5.3.8) 


— e(l! 2x; CA) )min(1,s — n) 4 O(g?). 


(3.3.9) 

证 明 it E Mf XEM E OAc "Ul f eb/e, MARR 
| SA || 2 o, (A) AGH REE 2.5.2, XF FUB ¿€ [0,26 1, TT rank( A 
+7F — +. HIRE . 

CA E TE)! CA C HIE) x (12) 2 CA * TE)! Cb 1f) (5.3.10) 
的 解 z(:) 对 所 有 :和 [0,e] 荐 连续 可 微 的 . 由 于 r= 2 (0) MF = 
cle), A 

Fa=xrter(0)+ Oe*), 
(REE AO 和 sin Al 保证 了 >+ ATES, dX 


lzel., Seat le ote). — (5.3.10 


为 了 对 || (0) | 上 > RAS. 3.10 R FAS £50, 得 到 
ETAz * ATEx t ATAS(O)=ATS+ ETS, 
Hp 
£(0)—-CATlA) !A'C F— Ex) M (ATA) IFTy. 
(5.3.12) 
将 此 结果 代 人 (5.3.11), RR, 利用 很 易 验 证 的 不 等 式 ‖ £F || o 
x do li; 和 E Hos || A |o, 我 们 得 到 


J + zl au lal; — 
“Tel, = &e| lA llo (ATAA ROW ESPERA. 

+ T+ fir LA LE IECATA)" da] + OCC), 
HF A'(Ar-b)20, Ar SL Ax —& BEZH, W 
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Jb- Ax |+ || Ax ll$7 ll 6 :5. 
因此 ， 
lA 5 lle 221 5] 5 pes, 
于 是 利用 (5.3.7) 有 


Li HR xe fet (tg) * 1] 


+ (A SMG Ole?) 


A mí #0 (5.3.8). 
ATE (5.3.9), 42 X. aT iie eR ar (2078 
r(1) - (bt tf) - CA * HE). r CE, 
IRAE >= (0) FF = r(e) .利用 (3.3.12) 可 以 证 明 
F(0)  (E- ACATA) ATX Br)-ACATA) ! E'r 
BTrTl£?-rls-edz(0la* OC. RINT 
2 — rio el #(0) 15 


2 

ol ^ el ^O? 

| 上 4 12 
cea 


+ LACATA) 1 lS LA lo n i-r OC). 


由 
lA sl xis iA tzl AT Sl. & tA) l 51, 
ors= H (I - ACATA) ADD IH; 
< |} 1-ACATA) !AT Ia i blo, 
和 


I(T- ACA' A) lAD = minm — 2,1}, 
a M Ash (5.3.9) m vr. 
(5.3.8) 的 上 界 的 -- 个 有 趣 特征 是 
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L] 


tan(8)x,(A F  — ES k (AY. 


V İla Iž- pis 
由 此 可 以 看 出 EAE RE ASI A in] zts 的 敏感 性 将 由 条 件数 的 平方 
来 度量 .而 余 量 的 敏感 性 只 是 线性 地 依赖 于 cz(4) ,这 种 依赖 在 
例 5.3,1 中 得 到 证 实 . 


5.3.8 法 方程 组 法 与 QR 分 解 的 比较 


MERE LS 问题 的 法 方程 组 法 和 QR 分 解法 进行 比较 足 有 意义 
的 .回想 我 们 的 讨论 中 的 王 要 观点 : 
"LS Fl 3 fas Z 3k LK 3k 5 (A) + prl A) 成 正比 . 
oA RAE GA MRT SON RAZRM TAA aku ES. 
* QR # 3 (Householder, Givens, 细致 的 MGS) A — 4 XE AOL 89 

LS 问题 ,得 到 的 解 其 相对 误差 约 为 HG (AD + pisi; CAD). 
因此 ,可 得 出 结论 :如 时 or E B eo CAO TR K , WEA RAE 
会 解 -- 个 近似 问题 , 它 通常 给 出 比 稳定 的 QR 方法 精度 低 的 解 . 相 
反 , 当 用 来 解 大 余 量 和 坏 条 件数 问题 时 , 开 岗 种 方法 得 到 差不多 
的 不 精确 的 解 ， 

最 后 ,我们 给 出 关于 QR 法 和 法 方程 组 法 优 秒 的 必 外 两 个 国 
3X: 
* 法 方程 组 法 在 m bn ARER- taisdE.BR*XXAX 

的 存 鱼 空间 ， 
. 由 于 应 用 于 ATA 的 Cholesky 算法 会 在 所 行 Q TA = R 的 向 
后 消去 过 程 前 中 止 , 因此 QR 方法 适用 于 更 大 的 媳 阵 类 . 
相信 以 上 的 讨论 至 少 会 使 你 认识 到 选择 一 个 “ 正 依 的 "算法 是 多 么 
困难 . 


习 题 
5.3.1 [BE ATAr= A"k, (ATA +F) =Aló,2 | F l| oe, (A). 


Hint -—b-Ar,r-b-Ar,lr—-r-A(AlA^ F} 1Fx 和 
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| _ 


| T 
一 i Foil, 
: r r | z = 2xi( A) i E ; | a | 


A |. 
5.3.2 假定 ATAr = A'D A'A f = AT | F Joh | f], < 
cu ll A! lal e lla HE A 为 列 满 秘 的 ,证 明 


| + _ E 


. JA lida: 
= cual AY 14 ig dbi 


| ATA | 
5.3.3 ACL” "usa y € FERAS A, y! E 0 证明 
e (Aa (AA o, (APS 0, CAD Blu Ip IHRE B Fn EBX. 
5.3.4 BACH mun) wE "eM 


| xls 


ib BH o, (BY o, (A), e (CB zv | AW um "3. B3 ror E Mo n — r 
后 RAPT Be A Spr). 

5.3.5 (Cline 19724B E A C ILI" HRA s AK FCM SLE RE 
法 计算 PA-LU.HBLCur BA FORD s" "E LARP 
Com m ge ma ei Bn fl A BS 5.2.5 BR HE - 7r ER ze uu 
使 得 上 Lz 一 Pb ils Beeb (E WEB OR Urz, || Ax- hll, Beeb (EC. OE 
Yom <5n SIN AE A am P BJ fn BETESR BOS 问题 上 此 方法 比 Householder 
QR TAPER. 

5.3.6 eR xw mHpgemdameEc-(A'Ao ,其 中 
rankCA ) - 2, C CSV 7r AX — p HS RE QR 分解 A = QR 可 行 ,证 明 
(a)C= (RIR) L(A b- P ETATE x79. 个 flop ARM C 的 对 角 线 无 ， 
( c) tit AR 
(I+ vC? 一 pud 


B 
R = |° j Jee = r) t= | 
与 Civ/a C; 


0 

其 中 C = (Sis) !. 

(d) RAMO £h b -PRKA CH E = fa 20 EE R 的 上 三 角 
M4}, ROUEN 27/3 flops. 

5.3.7. Me AC BMRA, b Ac tE rb, ON", AF 
F sew init Sy PEPE EC 07.68 Frobenius 范 数 最 小 且 (4 t 
Erb EPR, AM, ] QR 分 解 ,注意 Ex = r—>(Q'EQ)(Q'z) = 
Qr. 
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5.3.8 指出 如 何 计算 最 接近 Tocplitsz 阵 的 循环 阵 .用 Frobenius 范 数 定 
MER. 
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Band or Augmented Band Structure, "IMA J. Nura. Anal. 1,3—22. 

G, Cybenko( 1984). "The Numerical Stability of the Lattice Algonthm for. Least Squares 
Linear Prediction Problems, " HIT 24 ,441—455. 

P.C., Hansen and H. Gesmar( 1993}. “Fast Orthogonal Decomposition of Randk-Deficient 
Toeplitz Matrices, Numerical Algorithm 4,151—166. 

应 用 Householder 灯 阵 求解 LS 问题 要 加 小 心 以 防 过 量 的 填充 : 

J. K. Reid( 1967). “A Note on the Least Squares Solution of a Band Systetn of Linear Equa- 
tions by Householder Reductions, “Cory. J. 10,188 189. 

LS. Duff and J. K. Reid( 1976). "A Comparison of Some Methos for the Solution of Sparse 
Over-Determined Systems of Linear Equations, "J. fast. Math. Applic. 17 ,267—280. 
PE. Gill and W. Murray( 1976). "The Orthogonal Factorization of a Large Sparse Matrix, ` 
in Sparse Matriz Computations , ed. J. R. Bunch and D. T. Rose, Academic Press, New 

York ,pp. 177—200. 

L. Kaufsn( 1979). “Application of Dense Householder ‘Transformations to a Sparse Matrix, " 
ACM Trans. Math . Soft. 5,442—451. 

RUE Householder 反射 后 QR Ay fet B nb B; 92% T AA H] Givens 旋转 更 

Fi, P| A EEE BY , |D Rapi Givens 旋转 可 以 把 填 完 曙 降 人 至 最 低 . 

I S. Dulf(1974). “Pivot Selection and Row Ordering in Givens Reduction on Sparse Matri- 
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ces, "Computing 13 ,2739—248. 
J. A. George and M. T. Heath ( 1980). “Solution of Sparse Linear Least Squares Problems 
Using Givens Rotations, lrn. Alg. and Its Applic. 34 ,69—83. 


$5.4 其 他 正 交 分 解 


如 果 A BR SHY WOR 分 解 不 一 定 能 给 出 ranCAO BS. - 
组 正 交 基 . 这 问题 可 通过 计算 经 过 列 置换 后 的 A 之 QR 分 解 米 解 
决 , 即 AH = QR ,其 中 HUE. 
如 果 右 乘 一 个 一 般 正 交 阵 Z,A 中 的 数据 可 被 进 … 步 压缩 
Q'AZ- T. 
AH 上 和 ZZ 的 有 趣 选 取 , 这 些 选 取 以 及 相应 的 列 主 元 的 QR 分 
解 正 是 本 市 要 讨论 的 ， 


5.4.1 Bin: 选 主 列 的 OR 分 解 


mt ACE” RA rank(A) « n, WM QR 分解 不 一 定 产 生 
ran( A ) I — 2B IE 22 3E. 例如 ,如 果 上 和 有 一 列 且 
} 1 1 
A=l[a,,@a7,43]=(41,92-93] : Ü 1 
Ü 1 
是 它 的 QR 分 解 , 则 rank( AO —2, fH ran CA2 0 = J FS lal 
spaní qi, qol ,spani gi ;93| 和 span| qz,q3| 中 任何 一 个 部 不 相等 . 
幸运 的 是 ,Householder QR 分 解 算 法 (算法 35.2.1) 可 做 简单 
修改 来 生成 ran ABEZE. 修改 的 算法 计算 分 解 


» Ry Riz) r 
rAn=| | 5.4.1 
Q 0 Ü -m-—r ( ) 
roçar 


HP r=rakl A), Q 是 正 交 的 ,RI 是 上 三 角 阵 有 旺 非 奇异 ,了 是 
置换 阵 . 如 果 按 列 划分 AB —[a UU a A QSL 2, 1 M 
对 上 =1:2 有 
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a. = NV eun C spani ql, ,0,|, 
这 意味 | 

ran(A) = span! qq. sq, i. 
EE Q RH Arx Householder XB EF Fe £URI 47] Ag Er $$: PP BJ 396 4L. 
BEET k RECHA T Houscholder HR A, H, | FUB 
阵 HIRE .| 使 得 

(H, a'H ACHI TE, 1) = 


Crib d (b 15" 
Rii ? R43 "2 Ë -l 


RU P=] à RE P| mk (5.4.2) 
此 一 | 于 一 点 十 ] 
其 中 RIC BARS be. BARE 
E D = [efe Dues gle] 
基 按 列 划 分 , 且 令 pk MGE 
| z&& 1) ||, = maxi Hey? Hae, l zi D || ,. 
(5.4.3) 


的 最 小 下 标 .注意 如 果 & 上 -1= rank(4), 则 这 个 最 大 值 是 零 , 从 而 
计算 至 此 结束 . 否则 , 令 H, EHRE p Im e 列 的 单位 阵 ,并 
R Hš E Householder $R FE H, 使 得 对 REO = HRY OTE, 有 
R}(k+1im,e)=0. Hh] iE LIT, 把 R 共 -中 的 最 大 的 列 移 到 前 
E, A, 把 它 的 非 对 角 元 化 为 零 . 
如 果 利 用 
@%z= |" [> leli-leli-e 
对 于 任何 正 交 阵 QE4:*' 均 成 立 的 性 质 ,那么 不 必 每 一 步 重新 计 
算 列 范 数 . 因为 我 们 可 以 通过 修 止 上 昌 的 列 范 数 来 得 到 新 的 列 范 
数 , 即 
| ze 2= tP |3- r4, 
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这 使 选 主 列 的 工作 量 由 O (mn? RMSE OC mn KR. RELATE, 
我 们 得 到 Businger 和 Golub( 1965) 建 立 的 算法 : 
算法 §.4.1 (4 L SB Houscholder QR 437%) BEAC 
ex ey, RIE r=renk(A)PAFSH(5.4.1), 其 
TO-H,.;-H,,H-—-IH,-H,, A 的 上 三 角 部 分 被 RR šy k = BB 
分 覆盖 ,第 j 个 Householder 向 量 的 j++1:m PEAMTAG +1: 
mij)? EAH H 由 整数 向 量 piv 来 标记 ,具体 地 说 ,I 是 将 第 
jh pivCj AT EZRA. 
for =;= l:n 
c(j)=A(!1:m.j)'A(1:m,j) 
end 
r=0; r—maxic(1),- ,ctn)! 
RR ROSES nt c(h)= r 
while 7 > 0 
r=rtl 
piv(r)-k; Alim, r)>A{l:m, k); clr joclk) 
[v,8] -house( A(r :9m ,7)) 
A(rim,r:in)—(L, A Bvv )A(r:im,rin) 
A(rctlim,r)-^v(2:m-r1) 
for i-rtl:z 
c(i)ec(i) -Alr i) 


end 
irn 
r-maxic(r * 1), .cln)} 
JG kr + Laken MEI CCR} ST. 
else 
r=0 
end 
end 
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aaa 


本 算法 而 要 dmnr—27*(mtn) +474 flop. 其 中 r= rank( A ). 
如 同 非 选 主 的 算法 5.2.1 — F6, IE SER Q 以 因子 分 解 的 形式 存 
依 在 A 的 对 角 线 之 下 . 

例 $.4.1 如 果 用 算法 5.4.1 来 解 


rl 2 3 
1 5 6 

A = " 
1 8 9 | 
Ll 11 12 


EB H-lei ez ej] ,保留 3 位 有 效 数 我 们 有 
[0.182 -0.816 0.514 0.191 
-0.365 0.408 -0.827 0.129 

All = QR = x 
0.548 0.000 0.113 -0.829 
-—0.730 0.408 0.200 0.510 

'—-16.4 -14.600 -1.820 

| 0.0 0.816 -0.816 

| 0.0 0.000 — 0.000 

0.0 0.000 0.000 


L. 


5.4.2 完全 正 交 分 解 


由 算法 5. 4.1 产生 的 矩阵 R, 20E M f x23 RI — 4B ii CM BJ 
Householder E Ee #438 Wi] Jik 25682. 具体 地 说 ,我 们 可 用 算法 
5.2.1 来 计算 


Rh| 『TT 
Z. Z, | : =j | ú (5.4.4) 
v JY 0 -nr 
其 中 Z; 是 Householder 变换 ， Ti 是 上 三 角 阵 . 于 是 有 
Tu () r 
Q () Dlm- r ( ) 


其 中 Z = FEZ, ++ Z, . 我 们 称 任何 这 种 形式 的 分 解 为 完全 正 交 分 
解 .注意 到 null( A) 2 ran(Z(l: n, r 1:22), 8 XII CS. 4.4) 08 
" 200 1 


25 Hg ae WLEH 5.2.5. 
5.4.3 Xl fat 


假定 A € UU H mum». 下 面 我 们 给 出 如 何 计 算 正 交 阵 
Uplm X mf VgCn X n ftg 


Us = Uy 
Hi: 
x x 
lox 
lo o 
‘0 Ü 
0 


di fj 0 Ü 
0 ds fs Ü) 
TAVy= |, | | 4. 
UsA B 0 d, - | fn-l (5 4 6) 
0 Ü d, 
i 0 ] 


U, 和 Vg 一 Vi ttt V. Ab B] HI Householder 3p B: Fe AAS 


X X X x [* x X X] 

X x x x 0 x x x 

x x > x |<] 9 x X x | 

X X X Xx Ü x x x 

X X X X lg x x xj 

x x 0 0 x x 0 0 

Ü x x x 0 x x | 

0 x x xlo p x x [25 

日 X x X 0 0 x x: 

0 x X X 0 0 x xl 

0 O0 [x x 0 0 x x 0 0 

x 0 lo x x 0 0 x x D 

x <| ig Ü x x | 0 0 x x. 

X X [ 0 0 x 0 0 0 x 

X x 0 0 Q0 x 0 0 0 0 
291 


— AH, U, 在 第 上 S| ALI V, KAR TS HSC. BTA 
EP: 
算法 §.4.2( Householder Qt Atk) BRAC PX H m 
n, 本 算法 以 ULAV, B Ë ËA, P BALA ARBR, A U, = 
Uj7U,, Vu 7 Vy V, 5. U, 的 Householder 向 量 的 基本 部 分 存 
th AC Lime.) T, V; 的 Householder 向 量 的 基本 部 分 存储 于 
Aj j! 2:n) v. 
for —;— 1: 
[v,8] - heuse( AC; : m ,;)) 
AG(jim i jim)= (L, yr- Bow )A(jim jin) 
AG t1:m,j)7 v(2:1m—j * 1) 
if ; x2 
[v,8] 7 house( ACj 5 * 1:2))) 
Alim, tlin)  AGim.j t tinh, pov) 
A(j,j t2:n)— v(2:1n — j)! 
end 
end 
本 算法 需要 denn? — 473 + flop. Golub fli Kahan( 1965) (JH T 
此 技术 FF ËB We TT A TS. 如 果 需 要 Us 和 Vg 的 显 
RRRA, t al rE 4pi^n — An?/3 3 An?73 flop HBA 
得 到 .4 的 双 对 角 化 与 4 和 4 的 三 对 角 化 密切 相关 ,参见 8.2.1 
a. 
例 5.4.2 如 果 用 算法 5.4.2 来 解 


i 2 31 
A2 5 6| 
7 8 9|" 
lp 1 121 


于 用 3 位 有 效 数 计算 有 
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12.8 21.8 Ü 
0 2.24 -0.613 


1.00 0.00 0.00 
Ve = {10.00 —0.667 -—0.745|, 


0 O 0 
.00 -0.745 0.667 
0 0 0 J 
-0.0776 —0.833 0.392 -0.383 
~ |-0.3110 -0.451 -0.238 0.802 
B | -0.543 —0.069 0.701  -0.457 
—0.7760 0.312 0.547 0.037 
5.4.4 RRHH 


当 om 3n 时 ,如 在 使 用 算法 5.4.2 之 前 首先 对 A 进行 上 三 对 
角 化 , 则 会 得 到 一 个 更 加 快速 的 双 邓 入 化 算法 ,具体 地 说 ,假定 我 
们 计算 一 个 正 交 阵 Q Ean” ia 


£ E= fB. REM R, 进行 双 对 角 化 
UR, Vp= By. 
这 里 Up AV, kin Xn ESB, B Rn Xn 上 双 对 角 阵 .如果 Us 
— Q diag(Ug 1, - a), Wl 
rae [8] 
UTAV = | Q = 
EA 的 双 对 角 阵 . 
以 这 种 方式 计算 双 对 角 化 的 思想 是 Lawson 和 Hansen(1974, 
119 页 ) 提 出 的 ,Chan(1982) 对 此 做 了 更 全 面 的 分 析 . 我 们 称 此 方 
法 为 R 双 对 第 化 ,将 它 所 需 的 flop S£ (2 mn? * 2n?) 8 E5.4.2 
Hrsg (4n? —4n?/3)38EE, TEHE mze5n 时 , 它 所 需 的 计 
算 量 要 少 一 些 . 


5.4.5 SVD 及 其 计算 


一 旦 完成 了 对 A HIX f8 HE, Golub-Reinsch 的 SVD 算法 的 
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下 一 步 是 对 日 的 上 次 对 角 线 进行 消 零 . 这 是 个 挝 代 过 程 ,可 由 
Golub 种 Kahant1965) 的 算法 来 完成 .但 由 于 对 此 先 代 法 的 讨论 需 
有 关 对 称 特 征 值 的 知识 ,我 们 将 其 放 在 $8.6 中 讲述 .现在 只 指出 
它 能 够 计算 满足 
UiBV.-ZE-diag(si,",o0,)C€ mn 

BEIER Us 和 Vs .通过 定义 U= UUs AV = Vy. TUR 
H U'AV- E EA 的 SVD. 算 法 中 这 部 分 计算 的 flop x 5 SVD 
分 解 到 什么 程度 有 关 . 例如 ,求解 LS 问题 时 ,U1 从 来 不 用 显 怀 求 
出 ,只 是 随 着 UT 的 产生 ,将 它 作 用 到 5 上 即 可 .在 其 他 应 用 中 ,器 
需要 矩阵 U= U(:,1:n). 共 计 有 六 种 可 能 情况 ,每 种 情况 下 
SVD 算 法 所 需 的 工作 量 总 结 在 下 表 中 . 由 于 存在 两 种 双 对 角 化 的 
方法 ,因此 有 两 栏 的 flop 数 .如果 通过 算法 5.4.2 实现 双 对 角 化 ， 
则 产生 Golub-Reinsch( 1970) SVD 算法 .而 如 采用 RR 双 对 前 化 ,我 
们 得 到 Chan(1982a) 详 细 纵 出 的 R-SVD 算法 .通过 比较 表 中 的 值 
(只 是 工作 量 的 近 拟 钻 计 ) ,我 们 的 结论 是 :除非 mon .IR-SVD X 
法 更 有 效 . 


Golub-Reinsch SVD 
dmn? -4n3/3 


2mn?+2n3 


x=, v 4mn? + 8n? 2mn? + 11a? 
2, U Amn Bum Am^n + 135? 
E, U, lámn? — 2a? 6mn* + Lin? 
2, U, V Amn? + 8mn*+9n7 Admin + 2227 


limn? + 82? Grn? + 2047 


习 a 


5.4.1 RBACR"Am<n. BH-THERE 
U'AV = [B,O], 
Ep B fim Xm BJ FE ROSA. (提示 :利用 Householder XB [E 3x 18 
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ui w kmn uu ee ee arrrrs — | 


= > > X 
o x X 
x x o 
x OG C 

= 
= = = 


0 Ü x x Q0 
的 形式 ,然后 自 右 开始 进行 Givens RE SE TE BR SK ta] EIB EE" 3 On + 1) SUL) 
(mm + 1) 638.) 

5.4.2. FE WAY Givens 旋转 对 一 个 n x n 上 三 第 阵 进行 双 对 第 化 . 

5.4.3 指出 如 何 用 Givens 旋转 对 TC Ie" MET XK XT At. 

5.4.4. FACIO HE v0 HEE || Av lo o, CAD || v lo 3E H 
EBS v= o Alo, | = F < | 的 置换 阵 .证 明 如 果 AD[= QR 是 
AH 的 QR 434% llr. | no, (A). ABBA ERE H MOB AH 的 
QR 4r fi E Jr Ro iii. 

$.4.5 RE r,y€R",QCERT""7.0 REZE, ERARA 

» a 1 B 1 
a= [S ， o= |。 ， 
WA ul v=axly— of. 

5.4.6 Eig A=[a i, a JER, 0E8" ,对 各 的 列 向 量 的 任意 子 

Elar as], E X 


res[ 44,7 aq] = min | [aa dale - bl 2 
xE 


描述 一 种 不 同 于 算法 5.4.1 BJ 3 pú 2 YE tE RRR RA QR = 
AH=([a4,,.°°.44], MF ln 有 : 


reslas" tag] = min resl aeg aaa] 
i 


本 节 注 释 与 参考 


完全 正 交 分 解 的 讨论 见于 : 
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SVD i fae $8.6 洋 细 介绍 ,但 以 下 是 有 关 的 标准 参考 文献 
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Revealing Decompositions, " Numer . Math . 70 ,453—472. 
85.5 Sk dm LS 问题 


me A 是 秩 亏 损 的 , 则 LS ART X e REL TE] D HO 
用 特殊 的 技术 .这 些 技术 必须 考虑 确定 数值 秩 这 一 难题 . 

给 出 一 些 SVD 的 预备 知识 后 ,我 们 说 明 选 主 列 的 QR Juk u 
用 来 确定 使 得 和 rp P r= rank( ANN] A £x TE EH Zr xx &E TE TE EHR F. 
点 xp. 然 后 讨论 可 由 SVD 得 出 的 极 小 2 范 数 解 ， 


5.5.1 极 小 范 数 解 


假定 A€IZ""" H rank(A) = r n. ks fld LS In] EB B 59; = 
个 解 ,这 是 因为 如 果 r RAB C null A), W > + xz 也 是 
一 个 极 小 解 .所 有 极 小 解 的 集合 
X^lx€u^ilAx-bl mini 
Eh, PES E z r;€ x H AC[O,1], MJ 
|| ACAx; + (1—202;:3— bilo 

<A || Azi-bliz*(- A} |] Ax. - l2 

=min|| Ax -è j>. 
Auth, Arit (1-2)z EX. MT, X PA :个 惟一 元 素 具有 慨 小 
2 范 数 ,用 rrs 表 示 这 个 解 (注意 在 满 秩 情况 时 ,只 有 ~ 个 LS 解 ， 
故 它 必须 有 极 小 2 范 数 .因此 ,这 与 $95.3 的 记号 一 致 ). 


5.5.2. BEELER xis 
任何 完全 止 交 分 解 都 可 用 来 计算 r 具体 地 说 ,如 QQ 和 Z 


E IE SE E RF H iM E 
Tu 01r 
TAZ—-T-— ， r=rank(A}, 
9 | Ü M 一 F 
yii 
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Ln ee 


| Av —& l= || (QTAZ) ZT x-—Q7e |3= || Tuwe l+ Hal, 
其 中 


Zu = Ë NE en- 
很 显然 ,如 果 x 使 平方 和 极 小 ,那么 必定 有 w= T's ,因为 要 使 
z 的 2 范 数 极 小 ,y 必须 是 零 , 并 且 有 
Tuc] 


ns-Z| 
0 


5.5.3 SYD 和 LS 问题 


当然 , SVD 是 非常 显露 的 完全 正 交 分 解 , 它 提供 了 zis 的 一 
个 简洁 表达 式 和 最 小 剩余 量 的 范 数 ous= || Axis 5 lla. 

定理 5.5.1 假定 UiAV = 瑟 是 Edm*YH $ SVD Br = 
rank( A). dX U— [uius JF V—[v, u, ] 是 按 列 则 分 
4,662", uj 


F T, 
Lis = M a U, (5.5.1) 


了 一 上 oj 


使 | Ax - b lo AE, BEARD 5 P 2 2546 89 m B 


eis = Maza b| = QD. (5.5.2) 


证 朋 对 于 任意 €^, 我 们 有 
| Ax -5i$- || CUTAV)CWTx) - UTA ||2 = | Eo - uT ||? 
= Pon -ub) + Yu bY, 


Sit a = Vr RRA, fn r E LS MERI WA ; = hir 有。 = 
(ulb/o;). W^ a(r * 1:2) —0, 则 得 到 的 x 显然 具有 最 小 2 范 
数 . D 
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5.5.4 [| XX 


胡 果 我 们 定义 矩阵 AT €C a nxm jaa t= vx* UT 其 中 


X= dagli Q0,.-5,00 € RY" r = rank(A), 


那么 zis= Alb Apis= || (1-AA‘)O | 2 A RAAKT 
#. 它 是 
min || AX - In || F (5.5.3) 

的 惟一 的 最 小 下 范 数 解 ,如果 rank(A) =n, Ml at = (ATA) ! 
AT, 而 如 果 m—=n=rank(A), WA’ = A L ER, ATER AT 
足 如 下 的 四 个 Moore-Penrose 条 件 的 惟 - -矩阵 XER”, 

(i) AXA=A; (iii) (AX)! = AX; 

(ü XAX=X; (iv) (XA)! - XA. 
这 些 条 件 相 当 于 要 求 AA FLA A SSE ranCA 2I ranCATD E 
的 正 交 投影 .事实 上 ,44+ =U UI, Bh VS U(1:m,l:r2, 和 
A'A- V,Vi, Kip V,— V(1:n,lir). 


5.5.5 一 些 敏 感性 问题 


$5.3 我 们 分 析 了 满 秩 LS 问题 的 敏感 性 问题 .定理 5.3.1 对 
这 种 情形 下 zks 的 性 质 做 了 总 结 , 如 果 没 有 满 秩 的 假设 , 则 + sd 
至 不 是 数据 的 连续 函数 ,4 fro 的 微小 变化 会 引起 z s= A 5 的 
任意 大 的 变化 .能 揭示 这 一 点 的 最 容易 的 办 法 是 考虑 广 尽 逆 的 行 
RE A ASA UTEM T "LH Wedin( 1973) 和 Stewart(1975) 证 
明了 
Il (A + 4) — At lip 21 8A l| p mext At I5, ICA 4+ da)? [151 . 
这 个 不 等 式 是 对 定理 2.3.4 的 推广 ,在 那里 估计 了 逆 和 矩阵 的 扰动 . 
然而 ,与 非 奇 异 方 阵 的 情形 不 同 的 是 , 当 SA 趋 于 零 时 ,上 上 界 却 不 
一 定 趋 于 零 , 如 果 
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rt! [p o 
A= |} 0), A= 10), 
i0 0. lo Ü. 
则 
fh 0 0] [1 O o 
A'- A'8A)*— | 
o o ol Lt 1⁄2 0 


Ail A*—-(A+ 6A)’ |,=14%. YE X EE BELA E SE a ë J PR 
LS fe) RA EC RAC RIBER. 


8.5.6 选 主 列 的 QR 分 解 和 基本 解 


假定 AGE" "FRA rie ESTA QR 分 解 (算法 5.4.1) 976 
分 解 AIT = OR ,其 中 
R=)! Rio r 
Ü Q -m-r 


r nor 
有 了 这 分 解 ，LS Ijal sk b ERT. BKE, Fe rE”, 
有 
| Az —& l} = || (OTA) CH) -CGI 1 
= | Rayx- (c Raz) lat lla lls 
其 中 
T NE r TL |e r 
H x M g 5 HM 
本 是 ,如 x Rer LS EREE, M| EA 


- p s (e Rus), | 
如果 拒 表达 式 中 的 z Wu FE ë nj A A: 
Rale 
xy-H| 0 | 。 


注意 x 至 和 多 有 > TA SOR Arp AB K SLA 的 列 向 量 的 一 个 
TÉ. 


Pe m 


除非 子 短 阵 Ri 是 零 , 这 个 基 解 一 般 不 是 最 小 2 范 数 解 ,这 是 


因为 
Ru Ras 
| rcs || = min r-a] nom. (5.5.4) 
2ER 7 II =H rd 2 
事实 上 ,| £S | 2 的 这 个 特征 可 用 来 证 明 : 
iade, + | Ra Ris 12. (5.5.5) 


详情 请 参阅 Golub ff Pereyra( 1976) . 
5.5.7 HB AH = QR 确定 数值 秩 


ABE 5.4.1 来 计算 rp, 那么 在 确定 rank CA ) SE 32 JE A pë 
慎 . 为 了 了 解 这 个 困难 ,假说 
o RD RIP] è 
AH, 7 HAH HQ) - R— | 
0 RIP qm —& 
k # — Ë 
是 用 浮 点 运算 执行 算法 的 第 上 步 之 后 的 矩阵 .假定 rank( A) = ë. 
因为 有 伟人 误差 , 灵 姥 ) 不 会 精确 为 零 . IRE Ln SR RIP HEEM 
小 ,那么 就 有 理由 停止 约 化 ,并 宣称 A 的 秩 为 才 .-- 个 有 代表 性 的 
停机 谁 则 是 


| RSP || =e || A le, ^. (5.5.6) 
其 中 si 是 与 机 瘟 有 关 的 一 个 小 参数 .根据 Householder 矩阵 计算 
的 误差 性 质 ( 见 5.1.12 B), RAGER R. A + E, 的 精确 QR 
分 解 之 R, 其 中 

ll E; || oe. PA Ilo, £a = OC). 
由 定理 2.5.2 我 们 有 
84 + (À * E,) — 2, (RP YS | RSP il 2- 
xA Tpl AJE CA t E,)+ | E, il >, I IH: 
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G, LC À ) (e, + Ez) | A i 2. 
PATEL, A BOCs, + e) TROU TEP 7E — T E29 k HSÓR BE. 


以 此 为 停机 准则 ,可 得 出 结论 : DS EU b n, REP IG M BI, 
选 主 列 的 QR 约 化 就 “发 现 ” 了 秩 亏损 ， 
不 幸 的 是 ,情况 并 非 总 如 此 , 一 个 和 矩阵 可 以 是 几乎 秩 亏 损 的 ， 


但 没有 一 个 只 蕉 ;特别 小 .于 是 , 选 主 列 QR 法 单独 懒 为 判断 几乎 秩 
SEERA 然而 ,如 果 对 上 应用- -个 好 的 条 件 估 计数 ,在 
实际 中 接近 秩 亏 损 的 情形 就 不 相 能 不 被 注意 到 ， 

例 5.5.1 SEM T, (c) F 


l =e 一 上 —t 

Ü 1 =e cU ome 
T,(c)7 diag(1,s,:s,s" 1) `. : 

: 1 一 

0 --- Ü 1 


其 中 ct +s =1, c, s 206 Lawson 和 Hanson (1974, 31 
页 ). ) .这些 纸 阵 不 会 被 算法 5.4.1 改 变 , 因此 对 大 =1:2 一 1 有 
| RSP || > 之 器 -这 个 不 等 式 槛 会 说 明 ( 举 例 ) 对 于 Tioo(0.2) 来 
说 ,由 于 ss0,.13， 它 没有 特别 小 的 主子 阵 . 然而 可 以 证 明 a, = 
OU10-8)， 


5.5.8 HRS SVD 


MERNE PHEBEAFAS AANA SVD 方法 处 理 秩 = 
损 的 可 能 性 .回想 到 如 果 有 & = UEYT 是 A 的 SVD, 则 


r ,TT l 
T 
tjs 一 > - ^v, (5.5.7) 


ivi 了 


其 中 > = rank (A). HU, V IE = diag (6) Hm U, V WER 
diagktci 的 计算 值 .假定 两 个 奇异 值 序列 者 是 从 大 到 小 排列 的 , 侣 
理 地 利用 SVD 算法 可 推出 
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IPEPE m r r r mmm 


Ü= W+AU, wiw= 1,, |AUll, ce, (5.5.8) 
V=Z+AV, Zl1Z = L, |lAVilo<e, (5.5.9 


E- WI(A + AA)Z, AAI ;zel Al. (5.5.10) 
Ep £ Eu J— F DR 足 机 器 精度 . 简 言 之 ,SVD 算法 将 算 
H “ABI EPE A+ AA BOA SY. 


+EUR- EREE AEU 和 YY. 但 是 ,我 们 可 以 证 明 训 
EK 0,.)8(5.5. 10) AEM 2. 5. 2, 3€ TI 


a= mim | | A - Bll, 


= min || (£ - B)— W'(AA)Z ll;. 
mnk(R)— £k i 
AA || WT(AADZ Joe | A ||; eoi B. 


Bn, , | X- B|; = 6, 


nuu $a AP k-lin Alo, ĉel Seo FEWR A 的 秩 为 r, 那 
么 计算 得 的 奇异 值 中 的 n 一 + 个 值 会 很 小 . 当 计 算 了 AB SVD 
时 ,A ASL SE RR HATE De Se 28 HORE. 

例 $.5.2 对 于 例 5.5.1 PREM Tryon. €x 77 
0.367-1078, 

由 计算 得 的 奇异 值 来 估计 > = rankCA ) f). -种 方法 是 取 参 数 
和 >0. 当 二 满足 

Gy se eG, Z: Š S Gra Z° `"* = G, 

成 立时 ,我 们 约定 A 的 “数值 秩 ” 为 r. BH 5 应 当 与 机 器 精度 相 
协调 ,例如 取 人 =ul A ll... 可 是 ， 如果 数 据 普遍 的 相对 误差 比 u 
大 ,那么 了 也 应 相应 地 大 一 些 , 例如 , A 的 元 素 只 有 两 位 有 效 数 
* WE S-10 || Al. 

如 果 将 > ABO, Te [T] P] 


- 8: 


-一 一 一 一 
Lulu — ee 
Lo ——Á———— | 


视 作 .Pis 的 近似 解 . 由 于 1 xe Woe 1752 S178, tii LR EE 
I o, DLE CEE aa “GP eee EDLY) LS ft YES 12. ER 
们 将 讨论 解决 此 问题 的 更 精致 的 方法 . 

WRG. > 2, IARI AH AREF >+ LER D e B 3[ 2 RE 
疑义 地 视 A AE ME (XT FRB 8). 

RIK .181.77,8,] AR BEI He) WD AAA RT 
AAA r 有 一 些 任意 性 . 这 将 导致 估计 秩 的 更 复 
AREY REP AE, OP ER AED BN. Ex Fie T]. 

例如 , 设 r= nm H f UEC.5. 100) 4% AA = 0. THE s, = 
CiS lin) FE uu, o Me; SHR EBE W, VZ 的 第 
列 . 从 x th ++ HER BONG mI 


d Thx — Cy) Fo DR 
lar -aisla < D Hes bu le yf ys (e) 
ra] i 7 


由 (5.5.8) 利 (5.5.9) 容 易 证 实 
| Colb)s, - Cubow, ;E21 + ede lo ll 25 
(5.5.11) 

因此 
| vs /oy 
A Xi 8; ) 
参数 ?可 取 为 使 上 界 最 小 的 整数 .注意 上 和 界 中 的 第 - -项 随 着 7 增 
大 而 增 大 ,而 第 二 项 却 是 减 小 的 . 

当 极 小 化 余 量 比 解 的 精度 更 重要 时 ,可 以 基于 我 们 所 推测 
| b — Axe | > 与 真 的 极 小 值 的 靠近 程度 来 确定 r. 和 上 述 分 析 平 
行 地 ,可 以 证 明 : 

| & — Az; la - lb- Aris ll, 


| xz — rho «LI + ee l^ ||, + 


. c 
&G - 2)l5lsselall;l? * 220). 
`. or J 
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同样 , 还 可 选取 > 使 上 界 最 小 . 实际 细节 请 参阅 Varah(1973), 
也 可 见 LAPACK T. 


5.5.9 一 些 比较 


正如 我 们 所 指出 的 , 当 用 SVD 解 LS FLU LR S E VOD 
须 计算 .下 表 将 此 方法 的 效率 与 其 他 方法 做 了 比较 ， 


Householder iE 4 fE 2mn^ -2 n?^/3 
修正 Gram-Schmidt 2 mn’ 
Givens ESAE Sem n 
Householder WIF ff tt dian? —4 n?/3 
R x09 fA tk mn + 2n 
Golub-Reinsch SVD dmn’ + Bn? 
R-SVD 2mn2+ Il? O 
2J 题 
5.5.1 HERRE 
rT 5 y 
A= lo ol - 
TH FK 
r nor 


A r-—rank(AO H. T Jë dE TAD, WI 


T! O 
x=| ].: 
O Qz- r 


r 7 — Fr 
满足 AXA — A RICAX)' - (AX). CER F LER X E a 的 (1.3) 广 交道 . 
GEA FRA A xp Xp. X A HOT XX. 
8.8.2 SEX. B(A)€ E""" 3B BCA)— CAT A c AID) ! AT, Hop IDOE 
明 


+ _ oA _ 
| BCA) - AY liz = JAJAR + AT r = rank( À ), 
Ami oA BA’. 
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5.5.3. SRR SRN LS IRIS 


R S3]r» retl 
e" Ilo ol] he 
eee 


He RE "En Oye if 26.9 fie HM E F. AEB BA 
Fe. BE BF i fo) i SED E m 89 QR Sr 8 R 68 ap ee A Rd SS 
IP) y Me. 

5.5.4 证 明 如 果 有 A, A MASA’ E MEFE -个 整数 加 Mh Dh: 
XP, kkn rank. A, MEC Ex. 

5.5.5 证 明 加 果 AC ec Rn FRET EW. A’ loci 就 知 
ATE PRR An. 
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$5.6 ”加权 和 和 连 代 改进 


在 第 三 章 中 关于 方 线性 方程 组 引进 了 加 权 和 和 进 代 改进 的 概 
念 ,现在 ,将 把 这 些 技 巧 推 广 到 最 小 二 乘 问题 . 


5.6.1 FNM 
he G € jo" n BARA 5 BJ. LS 问题 


minlAz—-5l;, AER”, p€ R>” (5.6.0 
的 解 可 以 通过 先 求 
min || (AG)y — b || ; (5.6.2) 
的 最 小 2 范 数 vis RRS re = Gyrs 而 得 到 . WR rank( A) =n, 
那么 zG= zi. 否则 ,xo 是 (S.6.1) 的 最 小 G EAR, HPG 范 数 
定义 为 外 zce= l Gz lz. 
G 的 选取 是 重要 的 .有 时 它 的 选择 可 基于 对 A 的 不 确定 因素 
的 先 验 佑 计 . 另 -- 些 时 候 ,， 可取 
G = Go =diag(1/ll AC: D hase IZI ACs, 2) bo) 
来 使 A 的 列 规范 化 . Van der Sluis (1969) RF BB T XT db we RR, 
«3 C AG ERR). H T oo sit PS A EF IK BEF (AG), BR G = 
Go 是 有 道理 的 . 
我 们 发 现 加 权 会 改变 奇异 值 . 因而 当 确 定数 值 秩 的 方法 用 于 
A RAG 时 可 能 不 会 给 出 同样 的 估计 . 


5.6.2. 行 加 权 


设 D=diag(d1,…,d,,) 是 非 奇 异 的 , 考虑 加 权 最 小 二 来 问 
A. 
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min || D(Ar —O4) io, AC 2⁄2” be m”. (5.6.3) 
假定 rank(A)= z Bory 是 (5.6.3) 的 解 . 可 证 和 全 .6. ORE x LV 
E 
rp zis = ATD A) ! AT(D? — D(b — Aris). 
(5.6.4) 
ix AB) LS 间 题 的 行 加 权 会 改变 解 ( 一 个 重要 例外 是 pe ranC A), 
此 时 zp 二 zis). 
确定 D 的 --… 种 方法 是 令 d; Bh, 的 不 确定 性 的 某 种 草 度 , 例 
如 ,的 标准 偏差 的 倒数 . 这样 ， 当 2, 较 太 时 ,ro =e Cb — Arn) 
MFR. di 对 六 的 精确 影响 可 阐明 如 下 . 定 这 
D(8) = diagldy U u d v 1 Edp da) 
Bp o> -1. WR x (ORAM | DCS) Ar- 6) l5 H #, Có) 
p 一 Azr (5) 的 第 上 个 分 量 , 则 可 证 : 
T 
1 C AHIACATD A) ATS, 
这 个 显 式 表达 式 说 明 mr(6) 是 全 的 单调 递减 晒 数 . 当然 , 当 所 有 的 
权 部 变化 时 +, 如 何 变化 要 比 这 复杂 的 多 . 
例 S.6.1 假定 


n(8)- (5.6.5) 


[1 2] | 


MEE » = | 
5 6|. or 
7 


w D=, z5—[—1,0.85|]! de r-6- Arp -[0.3, -0.4, 
-0.1,0.2]'. 3 — 3r da , ds XX. D = diag(1000, L, 1, 12, WAN 
ap™[ —1.43,1.21]! 4» r= b — Axp = [0.000428, — 0.571428, 
—0.142853,0.285714]'. 

5.6.3 广义 最 小 二 乘 


在 许多 预 佑 问题 中 ,观测 向 量 上 与 之 关系 为 
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一 M re 


b = r+ w, (5.6.6) 

ROMA qp RE vo HYNES MARSZ- WARE o WME 

Le. 假定 已 条 W BE BC u =” f W = HB T.B 可 能 是 给 出 

的 也 可 能 是 W AY Cholesky — fg. 为 了 使 (5.6.6) 中 的 每 -个 方 
程 对 于 人 确定 的 x 起 同等 作用 ,统计 学 家 们 常常 要 解 LS 问题 

min || B ! (Ax — 5)|;. (5.6.7) 


对 此 问题 的 一 个 显然 的 计算 方式 是 先 形 成 À = B IA MS = 


B -15 ,然后 用 我 们 已 介绍 过 的 任何 方法 极 小 化 | Az — 5 |. 不幸 
的 是 , 当 B 是 病态 的 时 ,这 种 方式 得 到 的 x dE X. 
Paige(1979a,1979b) 提 出 一 个 稳定 得 多 的 求解 {5.6,7) 的 方 
法 . 它 利用 正 交 人 分解， 基于 (5.6.7) 与 以 下 广义 最 小 二 乘 问题 
min v'v (5.6.8) 


的 等 价 狂 .注意 到 即使 4 和 B SBR B4 (5.6.8) t RB E X 
的 .虽然 Paige 的 方法 对 此 情况 可 以 应 用 ,但 我 们 描述 它 时 仍 假 定 
这 两 个 矩阵 都 是 满 秩 的 . 

第 一 步 是 计算 A 的 QR 分解 


gta = | 1 Q=[Q Qi 


然后 , WR TE TE SCRE Z C un" "使 得 


inz -[0 on Z=12, Ad 
—n 


KP s £ E= B. 利用 这 些 正 交 阵 可 把 (5 6. .8) 中 的 约束 条 件 
化 成 


2 [ei] s+ [Apa emm). 


ib 0 0 S Ziv 
TTT BAP E BB” n] EE v, 
Su = QJb, v= Zu, (5.6.9) 
而 它 的 "上 半 部 ”确定 了 r: 
R x= Qlb - (OBZ ZL + Q,BZ,Z1)v 
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= Ob — OF BZ2u . (5.6.10) 
这 个 方法 吸引 大 之 处 是 所 有 潜在 的 病态 都 集中 在 二 角形 方程 组 
(5.6.9) 0(5.6.10). 此 外 ，Paige (1979b) 证 明了 上 述 的 方法 是 数 
值 移 定 性 的 ,这 是 任何 显 式 地 形成 召 'A 的 方法 所 不 具有 的 . 


5.6.4 选 代 改进 


Bijarck(1967 ,1968) 分 析 了 改善 LS 近似 解 的 技术 . 它 基 于 如 
THH. QR 
» MM = WI AC. "pc om, (5.6.11) 
Wi || b — Az llo= min. REWAM r+ Ax  & MATS —0 可 推出 
AT Ax — AT b. fll  rank( A) — s 我 们 下 奋 就 假设 如 此 , 则 上 和 面 的 
增 广 方程 组 是 非 奇 异 的 ， 
# LS 问题 化 为 方 的 线性 方程 组 后 ,可 应 用 和 迭代 改进 格式 
(3.5.5). 
=O; pU = 8 
for E -0,1,:- 


[s] ro] 

= 十 
pitt 10) 
end 


JEEP E EC gU, WER BICIS I 
A. 
WRT Y 和 的 QR 分 解 ,， 则 很 容易 获得 增 广 方程 组 的 和 解 .有 具 
KHOU, dn A= QR S; R,— R(TV:n,1:n), MEM 
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= n... II EC rr 
iia | 


的 方程 组 变换 为 
I, 0 Rij Th fy 
L | x ° d = f 
RI Ü QO lis £ 
其 中 
f n h n 
Q f= ne -n QP- -n 


因此 ,通过 解 三 角形 方程 组 RTh = g 和 Riz = f, — h HES p = 
h 
o[^ ETBN p me gi 是 以 因子 形式 存储 ,那么 每 一 次 


EREE Sonn —2n* 个 flop. 

使 法 代 成 功 的 关键 在 于 同时 修正 LS n E jj MARE 
Bi Er. Bidrck (1968) HERA ,如 果 (AD) == BP HH B 进位 :位 有 限 
位 数字 运算 ,那么 只 要 用 双 精 度 计算 余 量 , 则 LIO VER RC q) 
准确 数字 .注意 这 个 直观 分 析 中 出 现 的 是 (A) UAE 2C AD. 


习 = 
5.6.1 uEUH K(5.6.4). 


5.6.2 HAC vo egi Ek o O> -1 定义 对 角 矩 阵 
A = diag (1, ,1, (1+ 8),1,-".1), 
US VE 
用 x (8K min || ACAx — 5) || a WLS £(82— 6 - Arl) EUR KC 
qu. 
. ACATA) IA eg. 
H =| p- ĝo ms metat I. 
WEM «(3 - [1-8 PROCU (9). 
(b) r, CO) UR r (S00 £ TAR, LEW 
nD) O 
i+ defA(A'A) ATS 
(cl AR Cb) Fe E HA 2:35 (5.6.55. 


nC) = 
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§.6.3 fEAK(S.6.8)04 AMBER SIAM. Sl A SVD eR 


SI LS 问题 
5.6.4 i$ AC "OREA S.I F acs0.m X 
[ aL, A 
Mía) = | 
LAT O 
HF BH 


ess Me) — min je, =E 4 (A + (4) £ 


并 确定 使 KoM Ca DR e fB 89 a. 
5.6.5 A -LS ME BER UE ESI F : 
peels Ü 
for & = (hl. 
yt} — b - Ar" (X EO 
| Az € — EL. = min 
zs = gilt} 4 V 
end 
HERCA AM OR 分 解 ， FUERE d flop? 
(b) 证 明 在 5.6.4 BP ga OS Ur SEP Sg? =0, 48 J E M 
的 算法 . 
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$5.7 正方 形 方 程 组 和 伙 定 方程 组 


本 章 的 正 交 化 方法 可 用 于 止 方形 方程 组 , 也 可 用 于 闻 程 个 数 
比 未 知 数 少 的 方程 组 .在 这 简短 的 一 节 中 我 们 讨论 几 种 可 能 的 依 
m. 


5.7.1 RH QR 分 解 和 SVD 求解 正方 形 方程 组 


基于 QR 5 SERI SVD 的 最 小 一 乘法 ,可 用 来 求解 正方 形 方程 
组 :只 需 令 man. AE, flop RRA, 高 斯 消去 法 是 解 正方 形 
方程 组 的 最 经 济 的 方法 .这 从 下 表 即 可 得 知 ， 在 此 我 们 假定 在 分 
解 时 布 问 项 是 已 知 的 : 


方法 oj fop — 
Te er HAE 2 n5/3 
Householder 1E 4644, 4 ni/3 
修正 Gram-Schmidt 2 n° 
XE fO ` 8 x` 3 


奇异 值 分 解 


尽管 如 此 ,有 三 个 理由 说 明 为 什么 仍然 要 考 虚 正 交 化 方法 : 
， 仅 者 虑 工作 量 夺 大 了 高 斯 消去 法 的 优点 . 当 考 虑 内 看 通信 和 
向 量化 的 开销 ,QR Zr 8 ded RRS ARE, 
。 正 交 化 法 能 保证 稳定 性 ,不 必 像 高 斯 消去 法 那 祥 担心 "增长 因 
T. 
* X] TA SIS LUE ICE HE E bus de PSHM QR Z 
法 是 值得 依赖 的 . 当然 ,在 求 近 习 奇异 方程 组 的 有 意 头 的 解 
Aw, SVD 方法 是 无 与 伦比 的 . 
我 们 并 不 是 在 表示 强烈 很 爱 正 交 化 方法 ,市 只 蚌 在 说 它们 和 高 斯 
消去 法 各 其 特色 . 
FEE, de 5.7.1 中 SVD 对 应 的 值 是 假定 在 内 于 分 
和 解 时 就 有 上 5. 否则 ,有 必 烛 累积 U BE, T AE Et W| 2075 个 flop. 
"HR FH QR ARRE Ax = 二 5, 则 通 弟 和 而 要 进行 向 后 消去 : RY 
二 Q1'. 然 而 ,可 通过 对 b&b 进行 预 处 理 避 免 此 步骤 .假定 H 是 一 个 
Householder 第 阵 使 得 Hb = fe, ,其 中 e, RET, 的 最 后 一 列 .如 果 我 
f BT ECHA )! 的 QR 分解, W A= HIROT, FERAHA 
Riy = fe,, 
Hd .9-9'x. 因为 R'E PHAM y= (BAr,,)es， BE 


r= Patan) 


"nu 


5.7.2 钦定 方程 组 


`4 m < n IF, REIER HE Z TEH 
Ar=6, AC "pE m (5.7.1) 
FE X S 45 FERIA h R Z CELA BUB UU Se. SA 
无 穷 和 多 解 时 .重要 的 是 区 分 算法 是 否 找到 最 小 2 范 数 解 .我 们 给 号 
的 第 一 个 算法 找 得 就 不 一 定 足 最 小 2 范 数 解 .假定 4 是 行 满 秩 
的 ,应 用 选 主 列 的 QR 方法 得 到 
Q'AH = [R, R2| 
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其 中 R (= OPS RE SARE, R ER” 0 "于 是 Ax = 5 HEUS 


(Q'AID(H' x) = [Ri Rs] |= Q'b, 


| 


其 中 


T u Zj 
H » = |. 
B z,€g",z,C ^7 ATH EI, MARNE 4 是 行 满 秩 
的 ,所 以 R, edb Sr E RJ. TE, C z = R lQ b 和 z= 就 得 到 
问题 的 一 个 解 . 
算法 5.7.1 BE AC E77", rank( A) 2m, b € E" AEE 
FH xin EFT Arh. 
Q'AH =R ( 选 主 列 的 QR E) 
Me R(l:m,l:m)z;-Q!b. 
之 1 


4 ean] . 


此 算法 需要 Imn- mA 个 fop. 不 能 保证 是 极 小 范 数 解 ( 一 个 
不 同 的 开会 得 到 一 个 更 小 的 >. 但 是 ,如 果 我 们 计算 QR 分 解 


AT = QR = ol |: 
其 中 RQCR"UTLB Az =b 化 为 
(ORJrz = [RT ol J- b, 
其 中 
Q'= = NI z,€ KY ,zy € xU, 


现在 , 令 z.—0 WFA Y RERE. 
算法 $.7,2 £ A C" "  rank(A) =m, 5 €C im AEE 
FR Ax = b 的 极 小 2 范 数 解 . 
AT - QR (QR 分 解 } 
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解 Rlm, 1: m lz = b 
r-Q(:,l:m)z. 
ARE B uS HR 2m^7n -2m^ 73 flop. 
SVD 也 可 用 来 计算 天 定 Ax = b 问题 的 极 小 范 数 解 ， 如 果 
A = Š; gl, r — rankCA) 


zm 


Æ A 的 奇 寞 值 展 开 式 , 则 


T 
NA ub 

r = 2,7 Ue 
r-l , 


Hd 38 [a] STEEL 4 A 是 正平 秩 亏 所 时 ,SVD 方法 是 令 人 满 
意 的 . 


5.7.3. 扰动 的 欠 定 方程 组 


我 们 以 满 秩 欠 征 方程 组 的 扰动 结果 来 站 末 本 节 . 
定理 5.7.1 假定 rank(A) — m n, AC ™*" BAE 
eT OF AE k mb 


£ = maxi£&A,€j! <a, (A), 


HP e= || SA lal A 12, — || 06 lla’ p lo. eR + fo ek 
满足 
Ar =, (A 4 GA) 7? = p + 的 
的 最 小 范 数 解 , 则 
| -alo 
ll x ll 
证 明 RAL SERN SA Z€ fl bbc. TERM 8 0< < = 
4 rank( A +E) = m, mH. 
alt) = (A +E UA + #E)XA + HET) ! (5 + ip) 
ECA HEE) =b + tf. 将 此 表达 式 对 +t 求 微分 ,并 在 所 得 结 
KR ¢=0 可 得 
4(0) = GE ~ AAA T AJET(AAT) ! 5 + AT(AAT) HF- Er). 
- 316 - 


€ «o{A) lea mini2,n — m + 1! + &) + OCe*). 


— P A U... UU UL... corr lr d. pie Ui 


由 于 


|z]; = || ATCAAD ta || 2 Z @,,(A) || (AAT) 5 IIa, 
IF- A'CAA™) A || ; = min(1,z# — mj, 
和 
Far Iia All, 
lx lie alle? 
我 们 有 
| 和 -xl  HxCe)-x(0d; FeO, 4 
“Tah ~ Ol ^* I jp 7 Ot? 
= emin(l,2z — m) rae 1 fpi Ta H lela) + Of"), 
由 此 知 定理 成 立 ， 了 
注意 , 与 超 定 方程 组 的 情形 不 一 样 ,这 里 设 有 (AY AF. 
习 题 


5.7.1 试 推出 上 式 中 xz(w) 的 表达 式 . 
5.7.2 寻找 Ar=b 的 最 小 范 数 解 ,其 中 4 一 [i,2,3],5 = 
5.7.3 说 明 用 QR 分 解 解 多 定 方 程 组 时 如 何 能 避免 求解 三 崩 形 方程 


5.7.4 (ik b, rE 给 定 , 考 虑 下 而 问题 ; 

(a) 寻找 一 个 非 对 称 Toeplitz EF T (238 Te = 5; 

《bj) 导 找 一 个 对 称 Toeplitz aR T (E18 Tx = b; 

《c) 寻 找 一 个 循环 阵 C 使 得 Cx = b. 
将 每 个 问题 写成 Ap — b 的 形式 ,其 中 A 是 由 > 的 元 素 组 成 的 和 矩阵 ,pp 为 需 
要 求 的 元 豪 所 组 成 的 同 最 . 
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第 六 章 BERE 


$6.1 基本 概念 

86.2 APR 

86.3 hai 

HASBRO RAR OMA. SRAM LBS 
机 器 “系统 相关 的 ,还 是 涌现 了 许多 基本 的 技巧 ,本 章 之 目的 就 是 
介绍 这 些 技巧 ,同时 利用 矩阵 计算 的 设计 来 描绘 用 并 行 去 考虑 
问题 是 怎样 一 个 图 画 . 

我 们 将 考虑 分 布 式 和 共享 内 存 的 系统 .在 $6.1 P, #| Hj E 
阵 - 和 启 量 乘法 来 引出 节点 程序 的 概念 ， 同时 讨论 了 均衡 负 工 ,加 速 
比 和 同步 问题 . §6.2 中 算 阵 -和 矩 阵 先 法 显示 了 矩阵 分 块 运算 的 效 
果 并 给 出 了 二 维 数据 流动 的 思想 。$6.3 给 出 了 Cholcsky 分 解 的 
两 个 并 行 实现 . 


预备 知识 

假定 已 读 过 第 一 章 及 84.1,$4.2. 本 章 各 节 间 的 依赖 顺 厅 
如 于 : 

86.1 -全 6.2 一 全 日. 了 

补充 参考 文献 包括 专著 Schónauer( 1987), Hockney 和 Jesshope 
(1988), Modi(1988) , Ortega( 1988) , Dongarra, Duff, Sorensen fil 
van der Vorst (1991), Golub 和 Ortega (1993) 及 其 综述 性 文章 
Heller(1978), Ortega 和 Voight (1985), Gallian, Plemmons 和 
Sameh(1990), Demmel, Heath, 和 Vander Vorst(1993). 
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$6.1 基本 概念 


在 本 人 我 们 以 gaxpy 运算 : 
z—ytAr, AG", r. yC " (6.1.1) 
APRN £8 ar d a EE P £f BJ FR EL. SEES Ek A SSB JE TT 
RZ ER AO oh RB A IE 2 HER CAE Ee FA 
f£ far AA EL ds. 


6.1.1 分 布 式 内 存 系 统 


在 其 有 分 布 式 内 存 的 多 处 理 机 中 ,每 个 处 理 器 者 有 本 地 内 存 
并 能 够 执行 其 节点 程序 .市 点 程序 可 以 改变 所 执行 的 处 理 散 的 本 
Mi VI T£ , AE REE ELI ELE =Ñ Iñ] 26 E Hb Eh HE SECOS 28 a . b B 
ar lel AY RE XT NIESIBTR. -个 简单 例子 是 环 HE ATI ST zn 
fe EAT. LES 6.1.1. 


Eora 一 | 处 理 回 (2)| 一 | 处 理 器 (3)| 一 [处理 器 a 


FE 6.1.1 四 处 理 器 的 环 


其 他 一 些 重 要 的 互联 结构 包括 网 结构 , 环 面 结构 (与 二 维 数组 
密切 对 应 ) , 超 立 方 体 (hypercube) 结 构 ( 普 遍 性 和 最 优 性 ) , 86 E 8 
构 ( 适 合 于 分 而 治之 算法 ). 关于 各 种 情形 的 讨论 请 参阅 Ortega 和 
Voigt(1985). 我 们 的 直接 旧 标 是 为 (6,1. 了 建立 一 个 基 寺 环 的 算 
法 ,基于 坏 面 的 六 阵 项 法 将 在 $6,2 中 讨论 ， 

每 个 处 理 器 都 有 一 个 标识 号 ,第 Ar TAPPER IUS Proce). 如 
 Proc(a ) 和 Procl p ) 之 间 有 一 物理 线路 喜 接 相连 , 则 秘 二 者 相 
B.A, 在 有 p 个 人 处理 嚣 的 环 中 ,Proct p) Proc( p — 1 2I 
Proc( 1) HB. 

设计 有 效 的 分 布 式 内 存 算法 的 重要 因素 包括 ;: (1) 处 理 
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器 数 和 本 地 内 存 容量 ， (2) AE E A [8] 9. EX 0X, [37 计算 速 
度 与 处 理 嚣 间 通 信和 速度 的 比例 关系 ， (4) 上 节点 能 否 同 时 计算 和 
通信 . 


6.1.2 通信 


用 一 个 简单 的 表 居 来 描述 发 收 消息 : 
sendí ímauix|, {fede AE AHAB ATES |) 
recv( | matrix! , (AGE IE PP SB BJ F Sr ) 
数量 和 标量 都 可 看 作 惩 阵 , 因 此 都 可 作为 消 昌 .在 此 异型 中 ， 如 
Proc( jy) 执行 指令 send( Vos AJ ,于 是 本 地 矩阵 Vw 的 一 个 副本 被 
发 送 到 Proc( A) , ProcC my BJ W ACRE AP RK DUET. Ab PE S8 A 
送 消息 给 自己 也 是 允许 的 .利用 下 标 loc HOR — PEE Po 958 £f 
悄 在 于 地 内 存 中 . 
如 果 Proc( pw) 执行 指令 recv( Uw A). BAT RAE, B 
到 收 到 Proc(A ) REHAB 23 IE. Baal, MARRS 
U,, P, Proc( pa 恢复 节点 程序 运行 . 
尽管 这 种 发 送 / 接 收 表 示 法 足够 我 们 使 用 ,但 共 中 还 是 隐 盖 掉 
了 许多 重要 细节 : 

«BUE B. JF £f 在 实际 中 . 由 于 一 个 甜 阵 的 元 素 有 可 能 在 
发 送 者 的 内 让 中 不 是 连续 存储 的 ,这 会 导致 多 的 耗 药 我们 
忽略 其 细节 ， 

* 标记 消息 开销 消息 不 一 定 接 发 送 的 顺序 到 达 .为 使 接收 
者 不 产生 混乱 ,就 需 对 每 个 消息 加 一 个 标记 .我 们 假定 消息 总 
JL ARR 3E 65 AR Fr 34 3A do Io ik Zr do 8 ba N. 

* 消息 解释 开销 AEP, 一 个 消息 是 一 组 位 流 ,必须 宴 
供 一 个 局 头 来 告诉 接收 者 矩阵 的 维 数 和 表示 矩阵 元 素 的 浮上 
字 的 格式 ,将 消息 转变 为 算 阵 需要 时 间 ， 但 我 们 没有 去 量化 
此 开销 . 

这 些 简 化 使 我 们 把 精力 集中 于 上 层 的 算法 思想 .但 应 记 住 任何 一 
个 具体 实现 的 成 功 是 与 对 这 些 隐 会 开 和 销 的 控制 分 不 开 的 . 
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6.1.3 几 种 分 布 式 数据 结构 


在 我 们 给 出 第 一 个 基于 分 布 式 内 存 算 法 之 前 ,必须 考虑 数据 
分 配 问题 . 如 何 将 参加 分 配 的 乱 阵 和 阅 量 在 网 络 上 合理 分 配 ? 

假定 要 将 xE.“" 的 数据 分 配 到 含有 J 个 处 理 器 的 网 络 上 的 
SP AHA I p 满足 条 件 n= rp, 解决 此 问题 的 两 各 “标准” 
方法 分 别 是 按 行 存储 和 按 列 存储 . 

在 按 列 存储 广 法 中 ,将 向 量 x AE r x p Ær 

yx p [z(1:r) rr+li2r) … x(1t(p-1)r:n)1], 
TERE— 3) 4r BC PAD RR BH z(1 + (g — 1l)r: pr) € 
Procl jo). EX BERRAET). 可 以 看 出 每 个 处 理 器 拥有 r 
的 一 段 连 续 数 据 . 

在 按 行 存储 方 法 中 ,将 向 量 x 看 作 pxr 矩阵 

Xpxr 一 [x(1:p) x(pt1:2p)  z((r-DDp* 1:n)], 
将 每 - ' 行 分 配 至 一 个 处 理 器 中 , 即 x (per pin) € ProcC ye), RATE 
人 情 有 时 被 称 做 分 配 向 量 的 轮流 方法 ,因为 x 中 的 元 素 可 被 看 作 是 
— Ball Fb ri PE 36 di Ao ar ETD A. 

WME ?不 是 户 的 整数 倍 , 则 稍 做 改动 后 上 述 方案 依然 可 行 . 
考虑 n-14,p—-4 的 按 列 存储 方法 : 
r=] 


+ +] £2 £3 xal xs Jac; Xgl >o Xy -El | zl X13 xi]. 


PD mom m Pra) 
一 般 地 ,如 n= pr +q HOS ¢ < p, Ul Proc(1),:, Proc(q HTE 


rti T25X ,Proc(q t 1), , ProcC pF r 个 元 素 . 在 控 行 存储 
Jrik WARS Prep AIG mr (uipin). 

SE pL I) 36 FE fo] P iH TAB ERU TES AP. S AER HA 
fii fS DL n = 六, 则 有 四 种 分 配 的 可 能 托 : 


FF In] Proc( uy) oc X 
到 A(G:,1 408 0D)rigr) 
到 | AC: p:pin) 
行 A(14 (4-1) ripr,:} 
行 Alpg:ip:n,:) 
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Ay RE PE B B 28 (OL E387; S BAR, 如 果 A = LAL, An DC 
列 分 块 的 ,可 令 Proc( pz) 来 存储 AL, HP ispip:N. 


6.1.4 环 上 的 gaxpy 运算 


现在 为 gaxpy 运算 r= yt Arl ACE” x,y,z € RBH 
一 个 环 上 的 算法 .为 清晰 起 见 , 假 定 n= rp. HP p APPAR a 
数 . 对 gaxpy 运算 做 如 下 划分 : 


: 
P Áp U Appl Lt 


其 中 AER Ha; ypz € R”. ES ZH Proc( i) 中 已 存 
(A x, y, 和 A 的 第 jg MIR. 我 们 要 求 在 计算 结束 时 用 >。 A 
3 y, Bh Proe(4) 的 角度 ,运算 


EQ = y. + Y Ate 
涉及 到 本 地 数据 (CA, Ya z.) EAK Hb BE (rt 关 jx). 为 能 得 


Fj z WERK MR Se T I] EE AER PIM. 以 疡 =3 990,35 
如 下 所 示 对 x).22,23 作 循环 ; 


Ti Tit 


Ay c Alp 


+ » (6.1.2) 


Tp 


每 当 x 的 一 个 子 向 量 到 访 时 ,宿主 处 理 器 必须 以 合适 的 形式 对 其 
进行 运算 以 产生 新 的 和 : 


yz = yr t Arai 
y27 ya T As323 
y= yit Anr 


Y= ya t Ayta 
N37 ya t Aga, 
ya = ya T AnI — 
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y17 yí t ÀAis3 
y17 y t Áqox2 
y^ X1 * A1121 


————— — u  ' AÓ'A'—ÓÀ—— — ———— JL ——— wr sr r m  Irrrairr rn 


概括 地 说 ,x BT BES ich at p wh Hb SHE ag RETE 
收 到 一 个 x PF ii, EEr 次 7 xXr 的 gaxpy 运算. 
算法 6.1.1 假设 ACO, zyyEi 和 z= 二 y+Ar. 如 果 
4 p 个 处 理 器 的 环 中 的 每 个 处 理 器 执行 如 下 的 节点 程序 , Bn 
= 六 ,那么 结束 后 zt1+ (alri) T Proc( z) 的 y, 3 
中 .假定 本 地 内 站 有 如 下 初始 化 : p, n (节点 序号 ), left 和 right 
( £ SR & 5 3 É ARS), ny row= 14+ Ce lr: pr, Ay = 
A Crow, 1) Tle = Crow), yy. = y (row). 
for t=1:p 

sendí x, right) 

recv( cp, left) 

Tren Et 

ifr = Ü 

r= rtp 

end 

[z e= r(1t Cr —Dricr)l 

Yke = Moet Alistir — rir r) 

end 
下 标 = 指明 了 当前 所 用 的 z 的 子 向 量 .这 步 计 算 : 且 完 成 ,就 应 
对 存储 于 本 地 的 部 分 进行 修正 .send-reey KAE H 当前 存储 的 
x 的 子 同 量 发 送 到 右 邻 并 且 等 待 从 左 邻接 收 下 :组 值 . 困 为 只 有 
在 新 的 x 的 子 回 量 刘 达 后 才能 开始 对 本 地 yy 做 修正 ,这样 便 获得 
同步 .不 可 能 出 现任 :处 理 器 超前 手 其 他 处 理 器 运算 ， 也 不 叮 能 
A r 的 某 子 向 量 在 走马 灯 流 程 中 超过 另 一 个 子 向 量 .本 算法 专 为 
环 拓扑 设计 , MMI RB PAS. 此 运算 有 完美 的 负 
载 均衡 ,这 意味 着 每 个 处 理 器 有 完全 相同 的 计算 量 和 通 售 量 . 非 均 
衡 负 载 将 在 6.1.7 节 中 进一步 讨论 . 
并 行程 序 的 设计 涉及 到 许多 单 处 理 器 程序 设计 中 碰 不 到 的 微 
妙 的 细节 问题 .例如 ,我 们 不 小 心 三 和 倒 send 和 recv 过 程 的 次 序 ,这 
样 每 个 处 理 器 的 节点 程序 执行 的 开始 都 在 等 待 其 左 令 发送 一 个 消 
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而 这 个 左 邻 也 在 等 待 它 的 左 邻 发 送 消 息 , 便 产 生死 销 . 
6.1.5 通信 成 本 


如 果 对 发 送 和 接收 消息 的 开销 模型 化 ,就 可 对 通 优 负担 做 出 

fait. AEREE m 个 浮 点 数 的 send 和 reev 过 程 需要 

r( m )= aat Bm (6.1.3) 
秘 的 执行 时 间 . 这 里 <; 是 send 和 recy i3 # VI 93 E.B T BJ BF IH] , 2, 
R45 Eu E BEES. ET CS EE cR 
与 接收 者 之 间 的 踪 离 .显然 ,将 一 :个 消息 在 环 上 传送 半 轿 去 比 仪 在 
AAS Sh HE E IR] [E FEE E. x ESO A E Bizkit R X RI 
能 ) 在 相 邻 处 理 器 间 通 信 的 分 布 式 计算 ， 

在 算法 6.1.1 中 的 每 一 步 都 发 送 和 接收 一 个 > RA 
ITT 2⁄2 KER MRAP RKP RR recy 过 程 中 
不 存在 等 竺 时间, 那么 每 次 viu BEB MY SE KA (2r /R ) + 
2Cag + Bur ) b. 

另 - :个 指标 是 计算 -通信 比 . 对 于 算法 6.1.1 可 描述 成 


ea (207/R) 
通信 时 间 "2 ag Bur) ^ 


这 个 比例 量化 了 通信 开销 和 计算 开销 闻 的 比例 关系 . 显然 , = 
zz 力 增 大 时 ,计算 用 时 比 也 增加 马 . 


6.1.6 效率 和 加 速 比 


-个 声 个 处 理 颖 的 并 行 算法 的 效率 由 下 式 给 出 : 


TOD 
~ pr(p) 


其 中 TEE k TAEI LATE Pe. 如 计算 的 
速度 是 每 秒 R flop, jN fei (6.1.3) PEZ HB LE EIE: 6.1.1 
的 TE) BRIT 


Q ”我 们 指出 , 这 些 简单 度量 对 能 同时 计算 和 和 通信 的 节点 没 意 文 . 
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T(k) = 2 (nk Y/R * 2 ag + Baln/k)) 


= + Zak + 28m 
Et >l 我 们 假定 没有 等 待 时 间 . MR à 1, 即 无 需 通 信 , 则 
T(1) 22n?/R ,可 以 看 出 效率 
B 1 
i PR, P 
1+ " ( a4. + Bg) 


BÉ n 增 大 而 提高 , 随 p 或 R 增 大 而 降低 .在 实际 应 用 中 ,只 有 用 标 
准 检测 程序 才 是 评估 效率 的 惟一 可 草 方 法 . | 
RCRA — PR aed yh. 如 果 
S = T.T. 

则 称 解 决 一 个 特定 问题 的 并 行 算法 获得 加 速 比 S, 其 中 TA 
行 一 个 并 行程 序 所 项 的 时 间 , 了 ww 是 单个 处 理 器 运行 最 有 效 的 单 
处 理 程序 时 所 需 的 时 间 . 对 某 些 问题 ,最 快速 的 品行 算法 不 是 并 行 
的 .因此 ,加 速 比 的 评估 涉及 两 种 截然 不 同 的 算法 . 


6.1.7 均衡 负载 问题 


如 将 算法 6.1.1 应 用 于 下 三 角 阵 AC Rr". H T (6.1.2) P 

的 4; 有 一 半 为 零 , 则 与 ys 的 更 新 相关 的 近 一 半 浮 点 运算 将 没有 
必要 进行 了 .确切 地 说 ,在 第 六 个 处 理 器 上 ,满足 r>pm 的 
Ag lt ir- lrir) AF. AE, MRE yw 的 更 新 按 下 示 方 法 
进行 ,那么 总 的 浮 点 运算 次 数 将 减 半 . 

if rp 

y 7 Ye * Aj (o ttle — Dr:rr) ri 

end 
这 样 做 解决 了 多 余 的 运算 问题 但 产生 了 不 均衡 负载 问题 . 在 
Proc( yy) 上 进行 大 约 pPA X E REAR , 它 是 关于 处 理 器 序号 = 
inm md. APR FI r= p=3 的 例子 : 
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ur bb Re Wa wa ——''——— rr w ——— a "— E: n—nsÁ rry rwsrrAaaami 


之 | aN00!/1000! 000/|z yi 
X2 a 0 | 000| 000 X2 y7 
z3 aag |000 | 090 0 1.1: 33 
z4 8881800100 0)}}24] |» 
zs |-| Pp PB l B pea | 000 Ts | +! ys 
z6 BBB | 8 BB! 00 O]] xe Ys 
z7 yyy i xy xy il y00 |x y 
zg YvYvylvvvyl!|rvO0!| xs ys 
zy y yy lrrriyry xis 39 
这 里 Proc(1) 处 理 a 部 分 ,Proc(2) 处 理 8 部 分 ,Proc(3) 处 理 > 部 


分 . 
然而 ,如 果 处 理 器 1,2 和 3 分 别 计 算 {(ziyzdyz7), Cz zs, zg) 
和 (sz3,z6yzog), 就 会 导致 近似 的 均衡 负载 : 


zi a00 i000] 000 TI 3” 
Z4 BBB | pod | 00 0]] x y4 
27 rrrlyrrir90||z y 
x= a a< 0 | 0001 000 X4 y2 
zi-igpgpglilgpoloooniizsi-ctlys 
L7: rrrirrrirrxzz9||rs ys 
£3 aaa l000i0001]||zx y3 
z6 PRS | PBPBlOOOI zs ¥6 
zg y yy | yyyl yy yliz yo 


x W B RGM o 增 大 而 增 大 ,但 在 np 时 不 明显 . 

设计 一 般 的 算法 需要 一 些 对 下 标的 操作 . BLE TE Proc( z ) W: 
PH AL — ACuipin, DM yum y(pipin), 并 假定 连续 的 > 
子 癌 量 如 前 述 一 样 循环 .如 在 某 步 xm 包含 r(1+(r-1)ryrr)， 
a 

Voc = Yoo * Ax Gl t Cr Dri er)x 
的 实施 为 
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yGerpin) 9 y(gipin) + ACuipin,l 
+ (r= Drim)z(lc(r- Drirr). 
为 在 ye 的 计算 中 利用 半角 结构 ,我们 用 双重 循环 形式 表示 gaxpy 
运算 : 
fora = 1: 
for 8 = 1: > 
Ykla) = y (a) + Ayla. + (ro Dr)n(g) 
end 
end 
4 代表 Alat (ap. B + (r-Dr), 它 当 列 下 标 大 于 行 下 
标 时 为 零 ,基于 这 种 思想 ,我 们 缩短 内 循环 的 范围 ,得 到 


算法 6.1.2 假设 ACI, x.yC€H 和 z= yt Ax. on 
—rp.H ATE. RS p SAE 38 65 ST P 65 #= A sk pea 3 
执行 如 下 的 节点 程序 ,那么 结束 时 z(u:pin)4 T Proclip) 的 
yim 变量 中 .假定 本 地 内 存 有 如 下 初始 值 : p, n (节点 库 号 ) left 和 
right( Z 4t de X: A ARR), n, Ay. 7 ACgipiniivu 7 y(pip: 
nM xy-x(bt(s-Driar). 
r= nZ 
for ;— 1:5 
send( x. , right) 
recv( Ti left) 
T= n-—t 
if =r = Ü 
r= rtp 
end 
Iz 7 z(l* (c — Dreier) 
fora-—i:r 
for B = l: + (a—1)p - (r-r 
Vola} = Yela) + Akla, + (r—l1)=r)=z, (Ë ) 
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end 
end 
end 
下 标 值 不 得 不 在 中 点 空间 和 全 局 空间 者 之 癌 来 回 改 变 是 分 布 式 
矩阵 计算 中 需要 小 心 遵 慎 也 是 (和 希望 ) 能 得 到 编译 程序 支 竺 的 一 个 
Arm. 


6.1.8 平衡 协调 问题 1Tradeoffs) 


AUF $ 1.1, 我 们 给 出 -- 个 面向 列 的 gaxpy 运算 并 预测 它 
的 性 能 .对 A 作 列 分 抉 ; 
A -[|A,,".A,], A, EE, r= n/p, 
gaxpy 运算 x— v + Az Bak 


z= y + XA, 
HK'UBr,Q—rüt(su-D:igsr). 假定 Proel) FRET A, Mr, E 
为 整个 gaxpy 的 页 献 是 提供 了 积 A, 而 且 只 涉及 本 地 数据 . 然 
面 ,还 需 对 这 些 值 做 累加 . 让 moet teal RUM LAE BE 
EFM y. 四 此 算法 的 思想 是 每 个 处 理 器 都 计算 Ac, 然后 将 结果 
i5 Proc(1) ， 
算法 6.1.3 EH ACZ”, zr y C dez = yt Ar, wk 
& 记 个 处 理 器 的 环 中 的 每 个 处 理 器 执行 如 下 竟 节 点 程序 ,和 且 xn = 
rp, WRG, z AT Proc(1) ËF. BASEN EDS TTB 
p.a CP APSF), m.z e = x(übt(np-Dripr), A= AG, 
(s Dr. ur) A (PUA Proc(1) vee v. 
if z= 
Yke = Yie * A leZ toe 
for ¿= 2: 2 
recv( o.) 
Voc F Yi T Hoc 
end 
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else 
Woe = Alor Xu 
send( cw , 1) 
end 
初 看 起 来 此 算法 与 面向 行 的 算法 6.1.1 相 比 似乎 缺少 吸引 力 . 
Proc(13 的 额外 工作 意味 着 它 涡 承担 原来 的 
2n2/p + np - TES 
2n?^/p 2n 
倍 的 工作 量 , 并 且 处 理 原 来 的 户 倍 的 消息 .这 种 不 均衡 在 n2 p 
和 通信 参数 wy Ws, 足够 小 时 显得 无 足 轻 重 . 另 一 个 可 能 优势 在 
于 算法 6.1.3 对 长 度 n 的 向 量 进行 运算 而 算法 6.1.1 对 长 度 m Zp 
的 问 量 进行 运算 .在 节点 允许 的 条 件 下 ,加 长 向 量 会 提高 性 能 . 
算法 6.1.1 和 算法 6.1.3 这 一 作 简单 比较 再 次 提醒 我 们 同样 
的 计算 采用 不 同 的 实现 方法 能 有 很 不 同 运算 特性 . 


6.1.9 共享 内 存 系统 


接 下 来 讨论 基于 共享 内 存 的 多 处 理 机 土 的 gaxpy 问题 .在 此 
环境 中 每 个 处 理 器 去 访问 公共 的 全 局 内 存 ,如 图 6.1.2 所 示 ., 通 过 
不 断 读 写 位 于 全 局 内 存 的 全 局 变量 来 实现 处 理 器 间 的 通信 .每 个 
处 理 器 拥有 自己 的 本 地 内 存 并 执行 本 地 程序 ,在 执行 过 程 中 ,数据 
不 源流 入 流出 全 局 内 存 . 


Shs (2) | 处 理 器 (3) | | 处 理 器 (4) | 


全 局 内 存 


E 6.1.2 四 处 理 器 共 率 内存 系 统 


共享 内 存 计算 中 所 考虑 的 所 有 问题 都 以 不 同 的 形式 摆 在 我 们 
面前 .整个 程序 应 该 是 均衡 负载 的 ,对 计算 过 程 的 安排 应 使 任 一 独 
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立 的 处 理 器 等 待 它 计 算 所 用 数据 时 间 尽 可 能 少 .全 局 内 存 和 本 地 
内 存 之 间 的 数据 交换 必须 认真 处 理 , 因为 数据 交换 在 整个 系统 开 
Hip BP EE. ( 它 类 似 于 分 布 式 系统 中 的 处 理 器 间 通 信和 和 如 
4.5 中 所 述 的 不 同 级 的 存储 之 间 数 据 的 流动 .处 理 器 与 共享 内 存 
之 间 的 物理 连接 的 方式 非常 重要 , 它 影响 到 算法 设计 .然而 ,为 简 
化 问题 ,我 们 将 系统 者 作 如 图 6.1.2 mB Re. 


6.1.10 共享 内 存 的 Gaxpy 算法 
A EHE n >x n 的 gaxpy 问题 做 如 下 划分 


: : Al 
Tp P 


: |z. (6.1.4) 
A, 
在 此 假定 n= rp HALER r" yo BER. 我 们 用 以 下 算法 来 介 
绍 基本 思想 和 记号 . 
算法 6.1.4 RAR AC, x, VOR AJ T + P 8 # T 
BRR p TARASHA. wR n = rp, #— T 2: FE S JkT Fi 
YR, PARIAR 3 ykikxz=y+Ar AA RESP EX 
AAA ATE AE: p, pCR RAS), n. 
r—n/p 
row =1+ (un -L)ripr 


+ 


Lhe — X 
yl = y (row) 
for j= l:n 
Q |x A (row, j) 
Moc = yc t Five Hoc ] ) 
enc 
y (row) = yi 
假定 在 每 个 处 理 器 中 都 有 一 份 这 个 程序 .属于 本 地 的 浮 点 变量 带 
A ix” FR. 
在 算法 6.1.4 的 执行 中 ,数据 不 断 流入 流出 全 局 内 存 .在 循环 
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Al 3 KS AE (r= z My, = v(row)), fW P 6 — 
次 读 操作 {aj = A Crow, jD, HAAG XC He ÉE v Crow) = 
Voc) - 

MHF y EE ARP Aar, LS — 4 SE BB 2& ot EE BEF 
与 操作 ,因此 不 必 对 参加 计算 的 处 理 器 进行 同步 .在 整个 gaxpy 运 
算 过 程 中 , 每 个 处 理 器 都 有 完全 独立 的 工作 ,因此 不 必 监 神 其 他 
处 理 撕 的 工作 情况 .因为 对 工作 的 分 配 是 在 执行 前 已 决定 好 的 ,这 
种 计算 称 为 静态 调度 . 

如 果 A 是 下 三 角 阵 , 则 在 算法 6.1.4 中 要 采取 措施 以 保证 负 
载 均衡 .十 如 6.1.7 节 中 所 讨论 ,轮流 分 配 是 -种 有 效 办 法 .将 
z(p:ipin)- y(puipin)t ACuipin,:)x 分 配给 Procfr) 就 将 
2 次 浮 点 运算 在 p 个 处 理 器 间 有 效 的 分 配 . 


6.1.11 内 存 间 数据 通讯 开销 


重要 的 是 过 认 识 到 整个 算法 的 表现 很 强 地 依赖 于 对 爹 局 内 存 
的 读 写 开销 .如 果 一 次 数据 传送 中 m 个 浮 点 数 , 则 传送 时 间 之 模 
型 为 
trim) = a,+ Bum. (6.1.5) 
参数 o, 代表 通信 过 程 启动 开销 ,B AER yk HE 3 PIDE. e 2 T| zÉ 
FF5 HP 3Ë EIE HH [8p dy Jp zü RE syz 4b XH eR B] (558 fn BE BU ( M. 
(6.1.3)). 
数 一 下 算法 6.1.4 PREITY EDI Pp Er RR BEREITS AE 
H a E 55 ERATA fa J 4E 26 89 84] [8] A 
TA: PR 
T == (x 1 3)a, + p^ 


44 128 2H TT S3 B Hy IK Ef E UCM EE WE PEEL A (row, :) 
E39 — 4. RA Au PE REA EE 6.1.4 POR BI mr 3 N 
Ai = A (row, :) 
Yie = Sloe T A ac lex 
这 使 通信 开销 变 为 
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—— -—— h — a ... rp 


M 2 
T—3a, + "s 


“48 alit] TS a. 很 大 时 ,是 显著 的 改进 . 
6.1.12 RREH 


Pas IE qu e AY gaxpy 运算 (算法 6.1.4) 的 共享 内 存 形 
Th. {RE n= rp Mecodl=1+ 2 -d)repr. :小 合理 的 想法 是 用 一 
TERAH W (l: n, i p) 3 fÉ Wa RET Bb BH ZR po SE RE 
AC: col) x (col) ,然后 选 定 一 个 处 理 器 (如 Proc( 1) DRRR JH. 

Ak AC ucl) ;rem = r(eoD sa, = A uere W (: pt) = Whe 

if z= 1 

Mec y 
for ;—1:p 
wc W(:) 
Vioc 7 loc fioc 
end 
y = Yk 

end 
SR xx T bp SA TR, EAB BE PR UE ProcC1) TE S4 Së JJH Bi 
W1:n.1:,) eR. 

我 们 需要 的 是 有 一 -种 同步 机 制 将 Proc( 41) 的 累加 运算 延迟 至 
所 有 的 处 理 器 都 计算 完 各 自 的 结果 并 存储 到 W 数组 之 后 才 开 
始 . 为 此 , 许多 共享 内 存 系统 都 支持 一 种 阻塞 机 制 barrier, 它 在 下 
列 算法 中 引入 . 

算法 6.1.5 JUR ACT", r yE ATAARE PE 
能 被 p 个 处 理 器 访问 ,如 果 n rp, #-— A SERERE LT HR T 89 
点 程序 ,那么 得 到 结果 为 vy 被 y+ Ar 履 盖 .假定 本 地 内 存 有 如 下 
初始 值 : 户 ， 太 节点 序号 ) n. 

r=n/pjol=b+Cn-Driprs Ay 7 AC ,00 ia, = xQool) 

Oe = Ade i 
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W(:,g#)= wy 
barrier 
if «=1 
Mie Y 
for j=1:p 
Blo W(: j) 


Yie = Yke T 0. 


[y Yke 

end 
为 理解 barrier, P — & RF PB gk A TE ek Pt aE B sk E BY. B4 4k, 
47 barrier AJP , ARB AEE ,程序 被 暂停 . p 1 RBEE ABR 
截 住 时 ,所 有 处 理 器 都 返回 到 目 由 状态 并 恢复 执行 程序 .可 将 bar- 
rier 想像 为 p 个 处 理 器 想 模 渡 一 条 急流 . 为 了 安全 ,他 们 在 跨越 
前 都 到 岸 边 集合 ， 当 最 后 一 个 抵达 后 ,他们 一 起 涉 过 急流 ,然后 分 
别 继续 各 目的 旅行 ， 

在 算法 6.1.5 中 ,处 理 器 算 完 矩阵 乘 向 量 的 积 后 被 截 住 .我 们 
并 不 能 预见 处 理 器 被 截 住 的 顺序 .但 一 旦 最 后 一 个 处 理 器 也 被 截 
住 ,他 们 全 被 解放 ，Proct1) 就 能 开始 执行 累加 运算 . 


6.1.13 动态 调度 


如 不 采 开 选 定 某 一 个 处 理 峰 来 做 累加 的 方法 ,我 们 可 以 让 每 
个 处 理 器 将 其 计算 结果 直接 孝 到 全 局 变量 中 . 对 Proc( pg) 来 说 ,这 
意味 着 要 执行 如 下 指令 ; 

r=n/p;ool=1+ (pe Dripr; Ay — AC, ol); za = x(od) 

Coe = A kero 

YT YF Yie = Yle T wke? Y = yix 
这 样 ,一 个 问题 包含 读 - 更 新 . 写 三 部 曲 : 

yipe 二 Yi Voc Ylc * Glas YF Yie 
事实 上 ,如 果 不 只 一 个 处 理 器 同时 执行 这 个 程序 段 , 则 可 能 会 造成 
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信息 丢失 . 考虑 如 下 执行 顺序 
Proc(1) È y 
Proc(2) ÉE y 
Proc(1) *$ y 
Proc(2) S y 
由 于 Proc(1) 和 Proc(2) 对 同一 个 y 进行 操作 ,Proc(1) 计 算 的 结 采 
没有 起 到 应 起 的 作用 .由 于 Proc(2) 的 写 操 作 使 得 Proc(1) 的 写 操 
TE AGH. 
为 防止 这 种 情况 发 生 , 大 多 数 共 享 内 存 机 器 支持 临界 区 (erit- 
ical section) 的 概念 .临界 区 是 节点 程序 中 特殊 的 孤立 段 , 它 需 要 
有 “钥匙 "才能 进入. 在 整个 机 器 中 , 由 于 只 有 一 把 钥匙 ,因此 在 尾 
一 特定 的 时 刻 ,只 有 一 个 处 理 器 能 执行 临界 区 程序 . 
算法 6.1.6 假设 点 后退 "> 了,yE 及 ?存储 于 全 局 内 存 中 且 
能 被 p AREE B de n=rp, 每 个 处 理 咽 执行 如 下 的 节点 
EF, MALEREN, yjk y+ Ar BZ REAM # ff +o Td 
始 值 : P: uF EFE), n. 
r-n/p;od-l-c(n-—1)r:gm; Ay Al: ,oD de= (ool) 
Ole = A eet boo} 
begin critical section 
Yoo y 
Moe = Yke T Bh ine 
y = Yke 
end critical section 
临界 区 的 概念 的 引入 保证 了 y 能 够 正确 地 被 更 新 .由 于 此 算法 中 
累加 的 顺序 是 在 计算 进行 过 程 中 决定 的 ,因此 被 称 为 动态 调度 .在 
解决 非 规则 问题 时 动态 调度 是 非常 重要 的 . 


j B 


6.1.1. 修改 算法 6.1.1 IRE RE REIS ni. 
6.1.2 修改 算法 6.1.2 PHAR F = FRE 
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6.1.3 Ca) E gr E 6.1.3 6.1.4 使 得 对 每 -痛处 理 机 ,给 定 正 数 
m MHz yc Ae HB ey. (hb) 修 改 笑 法 6.1.3 86.1.43] z= y + 
A!r 9E y. 

6.1.4. 修改 等 法 和 .1.3 人 性 算法 执行 冠 后 At ry! 的 第 a He fed H Proc 
(的 本 地 数组 AL. 

6.1.5 收 改 算法 5.1.4 使 得 (a} A RIERA + ry! BBG. Cb) HI 
ACs BBs (oy 被 y+ A'x THE? CRORE SAA UR 
阵 时 ,该 算法 能 有 效 地 执行 . 
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$6.2 38 Bp 3E X 


在 本 节 中 我 们 给 出 矩阵 -矩阵 乘法 的 两 个 并 行 算法 .共享 内 存 
的 算法 用 来 说 明 分 块 和 均衡 负载 的 效果 . ER A HIS 
达 了 二 维 数据 流动 思想 


6.2.1 分 块 Gaxpy 算法 
RE A,B,CER"””, BER ELAM, SRE p 个 处 理 器 


BUSES PY FF RE PHT RE EIE : 
D=C+ AB. (6.2.1) 
假定 n= rkp, HRERS H: C 
+ 358 


EPP ee th wawasapan ma 


[Dii Drp] [Cis Cip] + [Att App) Bion Bep] 


(6.2.2) 
gp £t ARAN r=n/kp). BUR 
Bi; 
B; = Bi, " B C€ Rr”, 
Ü 
0 
则 
D, = Ci + AB; = C; + ABs. (6.2.3) 
讨 算 D; prf d flop A 
É f;=2nr’j = (2 y. 


k?p? 
因 BELZAR, f EXT; 正如 我 们 在 前 一 节 所 发 
现 的 ， 由 三 角 阵 结构 带 来 的 负载 不 均衡 问题 可 由 轮流 分 配 法 来 解 
决 .这 意味 着 分 配给 Proc( ye) 的 任务 是 计算 满足 j= =: pr kp 的 
D;. 
Wik 6.2.1 RR A,B,C 是 n X n 给 阵 , 存 储 于 全 局 内 存 中 
县 能 被 p PRB. de BALL RMN A= rkp, 每 个 
处 理 器 执行 如 下 的 节点 程序 ,那么 结 来 后 CC 被 站 二 C+ AB A. 
mz kak AAO Fain, r, k, pip PRPS). 
for j= pi prep 
HT. Di 
By, = BUisjr.1+ (i - Dr:jr) 
Cy = C(:,1+(j-1)rijr) 
for r=1:; 
cl=14+€r —1)r:er 
Ay. = AC; col) 
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Cy m Chet Aig By. (col, : 3 
end 
CCul*t(G-Dregjr)-06 
end 
我 们 用 一 个 关于 参数 上 的 范 数 来 评估 和 负载 的 均衡 度 . Proc pe) 所 
"BI flop Z3 
à 2 
Flø) = en, == (kp + EX e 
M flop HORA, W FOFO) 是 装载 平衡 的 -个 其 度 . 出 
Fp) | kb Àp/2., | ,2(p-1) 


FO) £ + kp 2+ kp 
可 以 看 出 随 k 增 大 计算 均衡 度 增 加 .做 类 似 的 分 析 可 看 出 通信 开 
销 也 随 增加 而 趋 于 平衡 . 

刃 一 方面 ,算法 6.2.1 中 对 全 局 内 存 的 读 写 次 数 随 上 的 平方 
增 大 而 增加 .如 (6.1.5) 中 启动 参数 a, 很 大 ,那么 性 能 随 b 增加 而 
降低 . 

由 于 这 两 种 相 予 盾 的 影响 , 的 最 佳 选择 是 与 机 器 相关 的 、 
如 果 遂 信和 加 快 了 , 则 可 把 任务 分 得 很 小 而 不 带 来 困难 因而 就 容 
Sy ik ta BOF. R, 5 PE AY £ Sh LE Ep, 用 单位 被 分 得 很 
小 的 并 行 算法 .然而 ,如 果 在 具有 高 性 能 节点 的 系统 中 单位 划分 过 
小 , 则 节点 程序 就 会 因 没有 足够 的 本 地 线性 代数 而 不 能 用 二 组 或 
三 级 运算 .再 次 强调 , 标准 愉 测 程序 是 用 来 评估 的 惟一 方式 . 


6.2.2 基于 环 面 存储 结构 {Torus) 的 运算 


Fh YE] (Torus) 是 行 和 列 都 为 环 的 二 维 处 理 器 阵列 , 参见 
图 6.2.1. 在 这 里 处 理 器 序号 是 一 个 有 序 对 , 且 每 个 处 理 串 有 四 个 
邻居 .在 如 下 示例 中 ， Proc( 1,3 的 西 邻 是 Proc( 1,2), KOE 
Proc(1,4), BS d$ Proc( 2,3) , 北 邻 是 Proc(4,3). 
为 说 明 如 何 组 织 环 面 顷 构 上 的 年 阵 计算 ,我 们 设计 一 个 算法 
RITA RA D=C+ AB, R A,B, CER” SERERE 
, 340 ` 


——— — ss r rc rr 


图 5.2,1 4x4 nl 


构 是 pl x pi fh, HA n= rp... 3 À = (A, )， B= ( B, ), C= 
(C) 看 作 是 含有 p x pi TR, PRADA rx z 的 分 块 阵 . 假 设 
Proc( i, RAT T A; D,. C, ; 它 的 任务 是 用 


D; = C, + S AaB; 
KH m C; .我 们 从 pi 3 He 3 St ih — f R zk. S PF B| F Hh 26 
T4 ULSE IRIE N a ET: 


Proc( 1,13 Proc( 1 ,2) Proct 1,3) 
ProcC2, 1) Proc(2,2) Proc( 2,3) 
Proc(3,1) Proc( 3,2) ProcC 3,3) 
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ee 
-一 --- 一 一 一 PHP ei 


我 们 集中 注意 力 于 Proc( 2, DURE: 

Dy = Cy + AyBy + AyBa + AB... 
假定 用 于 确定 分 块 点 积 的 六 个 输入 量 在 环 面 结构 的 存储 位 置 如 
T: 


《表格 中 的 点 不 必 理 会 ,它们 在 后 面 被 A,B, Pe). 

我 们 让 A 的 第 一 行 块 和 B 的 第 一 列 块 都 经 过 Proc(1,1) 依 次 
轮转 .这样 AMB, AíZFI Ba, Aur By, RHR AR, 
然后 与 C. Hl. 


Ao By Au 
(Bn i C=C. tA pB 
Bu kc = Ct * A pB 


Che 7 Cy T A iB 


Ay Bu Ag 
. Pa ' Cu = Cu +AyB 
Bs, ke = Ci * Au Pii 


人 柚 完 上 述 三 步 后 ，Proc(1,1) 的 本 地 数组 中 就 有 了 Di. 
在 环 面 存储 结构 中 我 们 安排 的 数据 流动 是 A 向 西 流动 ， By 
向 北 流动 .显然 Proc( 1, LMA APPAR: 
for ¢=1:3 
send( Av, west) 
send( Br. north) 
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recv( Ap east) 
recv( B,, , south) 
Ch. = Cu t An Bu 
end 
下 述 的 send-recv-send-recv 的 顺序 : 
for + =1:3 
send( A pc, west) 
recv( À ,, , east) 
send( B, , north) 
recv( B, south) 
Cp. = Cy T A D 
end 
也 是 可 行 的 ,但 是 由 于 B 的 子 块 必须 等 到 新 的 A 的 子 块 到 达 后 才 
能 发 送 , 这 就 带 来 了 不 必要 的 延 述 . 
Tiii Proc(1,2),Proct1,3),Proc(2,1) 和 Proc(3,1) 的 工 
作 . 仅 就 目前 的 情形 ,这 些 处 理 器 的 必用 只 是 帮 着 轮转 A Av, 
413 和 By, Bz, Buy. 如 果 在 这 些 步 中 By, By Bot RRR 
Proc(1,2) , Win] SK th. Di2: 
Dy = Cyr + Ay3 Ba + Ay Bi + ADB. 
同样 ,在 *= 1:3. 时 ,如 Proc( 1,3) PA Biz, B23, B33 的 话 , 则 可 算 
出 Dis = Cpt Ag By + Ay B23 + AynBsy. SELB, RH EB 
结构 的 置 初 值 如 下 : 


An Bil Ap Be | An Bay 


将 B, Mig Jb 38 55,1850 ， 
Ay Ba |Al3 Bel An Bo 
. Baj. Bol . Bs 
. Bul. Bol. Bs || 


(M3 + 


p=? 
B E Bi B 
Ai Bay 
B; 
1 二 3 
B: 


因此, 如果 把 B +k S BU W E TH Jor BOE VR PA, ET 
用 第 --47 HO gh SEE TESTE C 的 第 一 行 块 . 

如 果 用 类 似 的 方法 将 A 的 第 二 行 和 第 二 行 也 作 交 错 放 管 , 旭 
每 一 步 忆 使 用 个 钼 理 融 都 进行 来 -加 运算 .人 确切 地 说 ,如 果 让 
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从 这 个 例子 我 们 引出 MAIE. RPAN A, By FC, 存储 
于 Proc(i,j) 中 .为 了 获得 数据 A 的 交错 安置 , 可 看 出 第 上行 处 
理 英 中 的 4, 需 向 西 移动 i 一 1 个 位 置 .同样 , 2 ; 列 处理 器 中 的 
B, 需 向 北 移动 -1 个 位 置 .算法 如 下 : 
算法 6.2.2 REAL", BE”, CE eR, HB. 
满足 也 = C+ AB. 如 果 pl X p, Sd yox ej 893 4 AES S ite TF 
MY 332H-BOÀ n—rp,, WE UE Prea ) HAMA COP 
HA DA. TEE + Ms AA de F4 354À : py, (mA PARES), 
north, east, south 和 west( 四邻 的 序号 ) row — 1+ (g — 1) r:gr, 
col=1+ {åA —-1)r:Ar, Ay, = A Crow, col), Bi, = B (row, col) $e 
Cy. = C(row col). 
| 交错 A, fe Bil 
for & - 1:5-1 
send( A... west); recv( A m east) 
end 
for £—-1:A - 1 
send( AL... north) ; recv( Aj, south) 
end 
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for k=1: p] 
Ci = Cre t Api B, 
send( A p, west) 
send( B,, , north) 
recv( A, east) 
recv( By, , south) 
end 
IA. fe B, 43] 
for k —= l: 4 — 1 
send( A, east); recv(A,,., west) 
end 
for k —1:A - 1 
send( B, , south) ; recv( B, , north) 
end 
EA i MA n/p, 的 增加 ,本 算法 的 计算 -通信 比 趋 近 于 零 . 


3) — RÀ 


6.2.1 设计 在 环形 并 行 机 于 的 算法 6.2.1. 
6.2.2 一 个 上 三 角 阵 可 被 其 平方 覆盖 而 不 需 哲 外 有 存储 空间 , 写 一 个 
动态 的 基于 共享 内 存 的 算法 . 
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$6.3 和 矩阵 分 解 


本 节 中 我 们 给 出 两 个 并 行 Cholesky 分 解 算法 .为 展示 基于 分 
布 式 内 存 的 分 解 运 算是 什么 样 的 ,我 们 给 出 一 个 基于 环 结构 的 
gaxpy Cholesky 算法 .同时 详细 给 出 了 外 积 形式 的 Cholesky 方法 
之 共享 内 存 实现 . 


6.3.1 基于 环 的 Cholesky 分 解 


下 面 让 我 们 独 看 如 何 将 Cholesky 分 解 分 布 到 p + 4b 8828 83 
环 上 .出 发 点 是 关系 式 


G(gu,un)G(pin,n)-— A(p:in,.g)-— 3 GGG i) GG) 


= ulin). 
DERE z 阶 方程 4 = GGT 的 第 jx 列 得 到 的 .一 旦 得 
到 向 量 vlin) , 则 GG in, D BDIIETE EBORE 
G(pin,p) = v(pgin)/ V vg) 
a 347 + 


3 15 51]. A fey He Rae n= p. Alpins u) GET Prelo H. 
执行 的 结果 , AEP AEE G B) SIR 8 OA 相应 的 列 . 对 
Proc e AK i, CE ILE ETT py 一 1 次 形 如 
Aluin us ~ Alpin) GCGu,)GUpin,j) 
的 saxpy 2B, SR Mi dE RR ERA KR Re E. T dE. 
Proc( p EII Ex Fry BJ ACA RT : 
for ;—1:n-1 
AK fe ARE HE G $ 
teh FEMS G 列 的 副本 发 送 给 P 
更 新 ACH inp) 
end 
生成 Gluin, p), ed E A E 25 5 AE 
RE, ProcC1) eA SE BE HE RB G C1: 8, 12— A Cli n. 027 
V ACLLI) 并 发 送 至 Proc( 2). Proc(2) 一 日 接受 到 此 列 值 , 它 就 产 
^E. G(:n,2))P Rik E Proct2). 依 此 类 推 , Ti XR DK EET, 
一 个 处 理 器 一 瑟 完 成 其 G 列 的 计算 , 它 就 本 中 止 . 另外 每 个 处 理 
Sed Glin, 1,G(2:2:2)… 的 升序 来 接收 GAM. 基于 这 
些 结论 ,有 
=] 
while ; < z 
recv( gib 7 : n2. left) 
证 uc n 
send( z) (J: n) right) 
end 


Aw (uin) = Ay luin) > gel p)gigin) 


j73411 
end 

Aw uin) Atl perm A Ay Cu) 
if uc on 


send( Aj,.( p in) right) 
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end 

注意 ,接收 的 G 列 的 数 间 为 一 1 H ju UA BI Proel) 
咎 并 发 送 Gilpin, p). 

BL EHS I E SRT EE n 个 处 理 器 的 情形 .有 阿 个 明显 的 方 
式 米 分 配 计 算 . - -种 方法 是 让 每 个 处 理 器 计算 -- 段 连续 存储 的 
G 5j. BM, WR n=11, p=3, A=[ar ay], WK A 分配 
如 下 : 

Lay a2 a3 as a4l a5 2e | a7 aglay ayw aj] 


— 
Ix a Prn «(2) “Pett 


每 个 处 理 器 然后 可 去 计算 相应 的 G 列 . J AR AR 以 
Proc( 1295,25 G 的 第 4 列 值 计算 出 后 ,该 处 理 器 就 辣 机 ,而 此 

时 却 仍 有 大 量 工作 未 完成 . 
如 用 轮流 分 配方 式 来 分 配 计 算 , 则 可 获得 较 理 想 的 负 残 平衡 ， 


即 
[a 414447 Gip | 42 as ay ay | a3 45 ay]. 
— — — —— — 
Pratl} Pot 2) Prot 3} 


在 这 种 方案 下 ,Proct 2 S 3E VER G( (:.pi bin). — 4 MEARE TF 
REM G 列 后 ,其 他 处 理 器 最 黎 只 有 一 个 G 列 未 被 计算 , 这样 
当 n / poet 时 ,所 有 处 理 器 几乎 总 是 忙 的 . 
现在 仔细 分 析 一 下 轮流 分 配 的 分 布 式 Cholesky 算法 .每 个 处 
SE air Hb es Se PA TTR SR. 计数 器 j 是 Proc( pr 下-- 个 要 接收 的 
G 列 的 下 标 导 ,同时 处 理 器 还 应 知道 下 一 个 要 计算 的 G 列 的 下 标 
F.E, col 7 n: pin. MI Prof) BABE GC, col), B. 
L= length(col) 是 其 需要 计算 的 后 列 的 数目 .用 go 来 记录 求 出 
G 列 的 状态 ,任何 时 刻 , col(9) 是 下 一 个 要 计算 的 GG 列 的 下 标 ， 
算法 6.3.1 BEAC "是 对 称 正 定 矩阵 , 且 上 各 = GGT 是 
其 Cholesky 分 解 , 如 果 合 户外 节点 的 环 并 行 机 中 的 每 个 处 理 器 技 
行 如 下 的 节点 程序 , 则 纤 束 时 ， Proc( RL R= pr pin 的 
Glein,k) RAR AQ (l: n, L) P, RY OL = 
length(col) ,col= se: pin. HSM, BA gal: L 8 G(col(g):», 
col( 2) AH A, fcol(g)in,g) P. REAM PS RR +e T 3⁄4 36; 
- M9 + 
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fi:p, n CP RAPS), left 和 right( £ 45e zr 4589 F), Fe ALL 
— A(pip:n). 
j71:q 71; col u:p:n; L = length(col) 
while gL 
if ; = col(q) 
[形成 GC n.j)l 
Aj :n.q) = AuCG:in qM / Alig) 
if ;< n 
send( AL; : n. q) right) 
end 
j7j*1 
| 条 正本 地 的 列 向 量 ，| 
for k=gt1:L 
r= eol( Ë ) 
Ap(r:n,k)- Ay (rin, ke} - Ay(r,q)Ay(r:n,g) 
end 
q=qtl 
else 
reev( gu Cj : 7), left) 
计算 o. 产生 所 接收 G 列 的 处 理 器 之 序号 . 
计算 B，Proc(right) 的 最 终 列 的 下 标 ， 
if right =a Aj < B 
send( g,,.(j:2),right) 
end 
| 修正 本 地 的 列 向 量 .| 
for £= q: L 
r — col( Ë ) 
Alk rink) = Ay(rin,k) - gel geclrin) 
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end 
end 
为 说 明 指 针 系 统 的 逆 辑 关系 , 我 们 考虑 一 个 3 处 理 器 且 n= 10 的 
例子 .假定 3 个 本 地 的 q 值 分 别 为 3,2 和 2, 则 相应 的 col(q) 值 为 
7,5 和 6. 


Lay 到 > ayy laz fig ag ay las ae as] 
Proc 2) Pract 3) 


Proct2) 生 成 第 5 +G G 列 并 将 值 增加 为 3. 
需要 解释 何 时 将 接受 到 的 G 列 发 送 到 其 右 邻 , 它 需 满足 两 
个 条 件 : 
。 右 加 不 能 是 产生 此 G FIG) AERE 8. 这 样 保证 了 所 接站 的 G 
列 的 禧 环 可 在 合适 时 停止 ， 
" 右 鱼 必须 还 有 需要 计算 的 GH. SMG 列 就 会 送 给 一 个 已 
这 些 推理 在 分 布 式 矩 阵 计 算 中 是 很 典型 的 . 
现在 考查 当 n 污 pp 时 算法 6.3.1 的 性 质 . 不 难看 出 Proc( yg) 
执行 的 fop 数 为 


F(u)- 2 2(z - (un + (k-Dp))(e + (Ë - Vp) 


n? 

> 3p `' 
每 个 处 理 器 正好 要 对 每 个 G 列 做 接收 和 发 送 操作 . 利用 (6.3. 1) 
确定 的 通信 开销 模型 ,每 个 处 理 器 用 于 通信 的 开销 为 


m, = = D2 + Bal -3)) == Zam + Byun’. 


RBH NK EE R 个 flop, 则 算法 6.3.1 的 计算 一 通信 
EHn p) CARB). Bit, 通信 开销 随 n/p 的 增 大 而 显得 越 
KALARE. 


6.3.2 共享 内 存 式 的 Cholesky 分 解 


接 下 来 考虑 在 共享 内 存 环 境 下 实现 外 积 形 式 的 Cholesky 算 
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法 .外 积 形式 的 Cholesky 算法 为 : 
for & —1:z 
A(bin,k) - AUR in, k) vV ALR, k) 
for 7 -£ +T IE:n 
AG en SAG, p AGin RAG.) 
end 
end 
j 循环 是 AIREA. AMR EAD n- k KER EM U. 
因而 易于 并 行 化 .对 AC:n, k ATR n] h 3 4 Rb PB ae OR së a. H. 
Ax RTE B BR 
算法 6.3.2 REAC TERI AUEGE AB BE, HET 2 P Ñ 
存 中 能 被 p 个 处 理 器 访问 .如果 每 个 处 理 器 执行 如 下 的 节点 和 如 
序 , 则 结束 时 A 的 下 三 角 部 分 被 其 Cholesky AF RA. REA 
内 存 有 如 下 初始 值 : n. p, nOD T). 
for Ë = 1: 
if z= 
Uielkind=ACkin,k) 
vu Rin) o vy in ie CR) 
A(kin,b)— vy (Ein) 
end I 
barrier 
G (Ë 1:58) = AQR * 1in,&) 
for j= (Ë + ): pin 
eui in)7 AC inj) 
cx P :n)m ain) Velj) vi Gg 0) 
ACjin,j) = en in) 
end 
barrier 
end 
j 循环 之 前 的 数 乘 运算 和 外 积 运算 相 比 工作 量 很 小 ,因此 可 分 本 
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给 单个 处 理 器 来 完成 . E Ë Bl EE TAS T EE A barrier 语句 . 第 一 句 
保证 了 在 Proct1) 产 生 G 的 第 上 列 之 后 别 的 处 理 器 才能 进行 第 
次 外 积 运算 .第 二 杀人 保 证 第 点 步 的 所 有 工作 都 完 大 后 才能 开始 第 
k+l PREN. 


习 题 


6.3.1 试 将 算法 6.3.0 写成 个 分 块 形式 ,假定 x 一 mV, 对 于 种 = 
1:N, 4 (a)Procl DZE IE, GG ,1 (A — Dor: kr 2, CO HE BR # SEALS SE 
TER 六 (Rr | 1:0, kr tin WR r E 30,5 94.2.6 TW. n eh A is 
3 8i TE, DUE ny e RT D Pee EIE. 

6.3.2 改写 算法 6.3.2 为 共享 内 存 的 QR 分 和 解 算法 . Proc( 1) Jui ^E: AR 
Householder 了 向量 ,所 有 处 理 机 都 应 能 共享 最 近 更 新 的 Householder PF. 
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第 七 章 ” 非 对 称 特 征 值 问 题 


$7.1 性 质 与 分 解 

$7.2 扰动 理论 

87.3 FIR 

87.4 Hessenberg SME Schur 型 
$7.5 实用 QR 算法 

$7.6 不 变 子 空间 计算 

87.7. Ax =ABr 的 QZ TIE 


Pit SARE A A ke) RAE, REEE N 8 DB 
HIA RASTRA. EY at. A Pa hl ie AEA EY 
SFER, F DT EE yB A E. 

我 们 普 先 给 出 特征 值 和 和 不 变 了 空间 的 基 术 性质, 以 及 Schur 
分 解 和 Jordan 分 解 .这 两 种 分 解 性 能 对 比 放 在 和 7.2 中 讨论 ,在 那 
里 ,我 们 要 考察 特征 值 和 不 变 子 空间 是 如 和 何 爱 扰 动 影响 的 .该 节 还 
将 对 条 件数 加 以 研究 ,以便 对 舍 入 过 程 中 产生 的 误 关 进行 估计 . 

本 章 的 士 要 算法 就 十 著名 的 QR 算法 , 它 是 本 避 中 最 复杂 的 
算法 , 共 占 用 了 二 节 的 篇 幅 . 作为 简单 的 睁 法 的 自然 推 )” ,我 们 在 
87.3 中 导出 基本 的 QR iE (C. 随后 的 两 节 着 里 在 计算 上 实现 这 
种 基本 迁 代 , 本章 还 包括 Hessenberg 分 解 的 介绍 (和 7,4) 及 原点 
位 移 的 概念 ( $7.5). 

QR E i 9 E EER Schur 型 ,一 种 显 枯 特征 值 而 非特 征 疝 
量 的 标准 型 .因而 ,如 果 想 了解 不 变 子 空间 的 停息, 还 得 需要 额外 
的 计算 “计算 了 实 矩阵 的 Schur Zl fa 46 2, Jh?" np 423g Š 7.6 E sj 
标题 .在 此 节 我 们 将 讨论 各 种 不 变 子 空间 的 计算 ,这些 计 算 可 接着 
OR 算法 进行 ， 
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faa eT e SEA Ac = ABr UR AR 
决 此 问题 而 设计 的 QR 算法 变型 , 称 之 为 QZ 算法 .这 种 算法 强调 
了 正 交 矩阵 在 特征 问题 (本 章 的 中 心 议题 ) 中 的 重要 性 . 

此 时 ,评价 一 下 复 运 算 和 实 运 算 星 适当 的 .在 本 书 中 ,我 们 集 
中 精力 提出 解 沁 实 第 阵 问 题 的 实 算法 ,尽管 一 个 实 的 非 对 称 人 第 阵 
可 能 有 复 的 特征 值 也 不 例外 .然而 ,实用 的 实 QR 算法 的 推导 及 特 
征 问 题 本 身 的 数学 分 析 ,在 复数 域 中 进行 是 很 方便 的 .四 而 ,读者 
会 发 现 我 们 在 $7.1, $7.2, $7.3 中 已 换 用 复数 记号 了 . 在 这 所 
节 里 ,我们 运用 QR 分 解 ,奇异 值 分 解 及 CS 分 解 的 复数 形式 . 
预备 知识 

TEA BA. ADAE 1 一 3 章 和 5.1 一 人 5.2 的 内 容 . 在 这 
章 里 有 以 下 的 依赖 关系 : 

§$7.1> §7.2+ 87.3 87.4 §7.5+§7.6> 87.7 
补充 参考 书 有 : Fox (1964), Wilkinson (1965), Gourlay 和 Watson 
(1973), Stewart (1973), Hager (1988) , Ciarlet ( 1989) , Stewart 和 
Sun(1990) , Watkins (1991) , Saad (1992) , Jennings 和 McKeowen 
(1992) , Datta( 1995) , Trefethen 和 Bau( 1997) , #1 Demmel(1996). 
Ej EUR EB — H6 3 I Matlab 函数 有 :eig, poly, polyeig, hess, 
qz, rsf2csf, cdf2 rdf , schur Æ balance. 与 LAPACK 44H) 4: 


LAPACK: JF 20°85 #7 UE (E [n] eff 


.. GEBAL oF EE. 
. GEBAK 取消 平衡 变换 
. GEHRD Hessenberg 时 的 UU AV = H 
_ ORMHR UC ^ RERI ER ECSCTRI 
_ ORGHR 产生 UCR) 
__ UNMHR UC a ae AI se eC) 
__ UNGHR 产生 UCR A) 
HSEQR Hessenberg 阵 的 Schur 分 解 
_ HSEIN 用 首选 民法 求 Hessenberg FIE li) Bt 
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HR 
LAPACK : JE zik +F GF fi [a] Et 


— GEFS 一 般 条 阵 的 Schur 分 解 特征 值 按 序 排列 。 

. GEESX Ij E fes HE PR it 

. GEEV — iig EF PI ERRETA A e 4 CREE I] E 

— GEEVX Ž — 同上 ,但 给 出 条 件数 合 汗 NENNEN 
^. .. TREVC | FZ 34128 3 BF RO GS TPT FE) 4 

— TRSNA FA = xr AA BE P8 RAE TT II h 3 EC it 

_ TREXC Schur $3 SE 89 Vs d AF sn 

_ TRSEN lj Lf e AR PT E 


_ TRSYL RE AX + NB=C,A ABH Hii -at ff 


LAPACK : 4B ERES 3 Pp DE [5] ES 


| i Hm 
. GGHRD {EH A Hessenberg — ffi 81 
. HGECE F Z Schur 分 解 
_ TGEVC F i: In] Jet 
. GGBAK 取消 平衡 变换 


$7.1. 性 质 与 分 解 
在 这 - : 节 里 ,我 们 给 出 必要 的 数学 基础 知识 ,以 便 导 出 和 分 析 
后 面 的 求 特征 值 的 算法 . 
7.1.1 特征 值 和 不 变 子 空间 _ 


SRR A C i "RTE (A PE ORG EEA p(z)= det( zI— A) 
的 n AR. XX ER B0 RAH, iA ACA). WRACA) S= fay, 
Ant WW 
det(A) = A ÀA2 7:24, . 
而 月 ,如 果 我 们 定义 由 PEWA.: 


ir(A) = San, 
i>] 
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Wi ir(CA)— A, bee +A, ee SRE um PJ BE a fp üE BP 
z" 1 前 的 系数 得 出 . 

MR AC ACA) BARE 

Ax = ax 

RUSE Se pu EE x COT 称 为 特征 向量 ,更 精确 地 说 ,对 于 4 WE Aa = 
Ar 的 非 零 向量 xz 称 为 右 特 征 向 量 , 满 足 HA = Ac! 的 称 为 左 特 
fir fo] Be. Bc dE EDU HH CORRE ee “EP iF IRE. 

—^ dE pi Eig S5 T — 4S — Pk - Y == [n] RS I] FE A 
左 乘 保持 不 变性 .更 一 般 地 ,一 个 子 空间 SSO AA F TER 

=€ ScÀArC S, 
则 称 为 不 变 的 { 相 对 A) .注意 到 ,如 果 
AX = XB,B C C"* X Eo, 

那么 ran( X) EPER, A By = Ay A(Xy) = À ( Xy). K E , An St 
X 是 列 满 秩 , 那 么 AX = XB Ea HACB)ZACA). WR x BE 
HARE IBA ACA) ACB ARR A IB —X ! AX 相似 .在 
We XP X 称 为 一 个 相似 变换 . 


7.1.2 RE 


iF 2 EK. PA RA To) 
的 特征 问题 来 逐 解决 .下 面 结论 是 这 些 简 化 的 基础 . 
5|38 7.1.1. dX TEC 2 的 分 划 如 下 


mñ mal 
Ü Ta 
P 9 
那么 ACT)=ACTI) U A(T;). 


证 明 Ht 
mñ M ii 
Tr = = À , 
0 T; A X2 
这 里 rE Hr ew, ^n 3 r240, Z, T z> = Ari, eM AC 


ACTA). 如果 zr, = 0.B5 A Tuzi = Àx, , 这样 ACA(Tui). 由 此 可 
， 360 ° 


— — Isma a ee E ERR NR anar 


Al ACT)CACT42UACTAZD. fh B FORRES ACTOR ACTU 
A( 于 ww») 有 相同 的 基数 ,所 以 它们 是 相等 的 ， [] 


7.1.3 基本 下 相似 分 解 


利用 相似 变换 ,可 以 将 一 个 笃定 审 阵 简化 为 儿 种 标准 型 的 任 
一 个 .这 些 标准 型 因 其 显示 特征 值 的 方式 及 其 提供 的 不 变 子 空间 
信息 形式 而 异 . 

由 于 其 数 倩 稳定 性 ,我 们 先 讨 论 能 用 本 相似 变换 做 的 归 约 . 

引 理 7.1.2 wW ACO” BECO? AXED PRA 


AX-= XB, rank(X) = p, (7.1.1) 
那么 存在 一 个 西 阵 GOI" tee 
Ta Te P 
H = T _ 
Q'AQ = T = | D M -p (7.1.2) 
p n- p 


证 明 设 
Ri | 
X = ol | Q C C"",R, € CP? 


Æ X 的 一 个 QR 分 解 .将 之 代 人 (7.1.1) 并 整理 得 
É ine "i]s, 
22 fol Ü Ü 


Ti dd p 

Ty, T> n — b 

bP n p 

HA R 的 非 奇 异性 以 及 方程 T. Ri =0 和 TR, = R BRA 
以 推出 T4, =Ü fl ACT,,) —AC(B). ASIB7.1.1 ACA) =ACT)= 
ACT, UACT2), 结论 得 证 . 日 


这 里 


Q"AQ = | 
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5[7.1.1 te 

67.00 177.60 — 63.20 

— 20.40 95.88 - 87.161, 

22.80 67.84 12.12] , 
X=[20,—9,—12] E B-[25], 88 Z AX = XB. n EL, e LE E 
ORLA 


A= 


0. 360 0.928 — 0.096 
0.480  — 0.096 0, 872. 
那么 OTX=[-25,0,0]" R. 


— 0.800 0. 360 0. 480 
Q = 


25 -90 5 
Q'AQ =T=|0 147 - 104], 
0 146 3 


135455 4s A(A) = 125,75 + 1001, 75 — 100i}. 

3|38 7.1.2 是 说 如 果 我 们 知道 某 个 矩阵 的 不 蛮 子 空间 , 则 可 
应 用 正 交 相似 变换 将 该 阵 约 化 为 分 据 三 角 阵 形式 .利用 归纳 法 我 
们 可 容易 地 建立 Schur 分 和 解 定理 (1909). 

定理 7.1.3 (Schur 分 解 ) PRACT” AAFAA 
W Oc" ,使 得 

QA0 = T = D + N, (7.1.3) 

ix € D-dig(Aj,77,A,), NEZ "是 严格 上 三 角 阵 .并且 ,可 以 
选取 Q 使 得 特征 值 A, 湛 对 角 线 按 任 一 给 定 的 次 序 出 现 . 

证 明 当 w=1 时 ,定理 显然 成 立 .假设 定理 对 于 所 有 的 阶 数 
A nn 一 1 或 少 于 s - 1 PS. 如 果 Ax = àr, 这 里 江天 心 ， 
那么 由 引 理 7.12( 这 里 B= (AMETE 个 西 阵 加 使 得 
A "| l 
0 C 
1 nl 
由 归纳 法 假设 存在 -个 西 阵 U 使 得 UHC UD 是 二 三 角 阵 .这 样 ,如 
RQ = U.diag( 1,U) JI. QUAQ 是 上 三 角 阵 . J 
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U'AU = | 
n — l. 


— — -mr 一 一 一 一 一 一 一 一 一 =. PPS quur er. |, -TI -PE 


fl 7.1.2 如 果 


72 
À = B M AR Q- | 0. 89441 0. 4472 


2 3 — 0.4472. — 0. 8944i 
那么 Q # H FEB 
grag = [3 +1 -6 ] 
0 3-ai 


idR Q-[q,.q, ÆT. LLD PATEE Q 的 列 分 块 形 
式 , 则 g; BA Schur GE. OSA AQ = QT AF SC TH E. E 
们 知道 Schur P] m 8 


D 


Ag, = Arte + Hag; Kk — lim. (7.1.4) 


由 此 我 们 得 知 子 空间 

S, = spaniqu, 7. qui, & = din 
ERER. mE, AA EGER DOR O, = [91.7.9]. SEA A (QHAQ,) 
= jx 由于 人 7.1.3)? 中 的 特征 值 林 以 随意 排序 , OT W T 
每 上 个 特征 和 值 所 组 成 的 子 集 部 至 少 存在 一 个 & 维 不 变 子 空间 . 

从 (7.1.4) 还 可 得 出 男 外 一 个 结论 , 即 Schur n] EE q, 是 一 个 
Trübp E 4SHRAN 阵 的 第 & HAZ qn] EE. OREM S:n 
AB MA HAH ATA = AA" 此 时 称 4 为 正规 矩阵 . 

推论 7.1.4 AC" "REME 32 ER AEAEE 

dl e. 


— 


QPUAQ = diag(A4,77,2,). 
证 明 易 知 如 果 A 西 相 似 于 一 个 对 和 角 阵 ,那么 A 是 正规 阵 . 
另 一 方面 ,如 果 A EWE OHAQ = T BEM Schur 分 解 ,那么 T 
电 正 规 . 而 一 个 正规 的 上 二 角 阵 工 必 为 对 角 阵 .推论 证 毕 ， [] 
注意 到 如 果 QUAO = T -diagg(A,) + N Æ Minx n BREA 

的 Schur 分 解 , 那 么 || N ||, 5 Q 的 选择 无 关 : 


INI£-IAI£- > la; |? = (A) 


这 个 量 称 为 4 的 正规 偏离 度 .这 样 ， 要 使 T 更 对 角 化 ,就 必须 利 
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FASE F 23H4 EA, 
7.1.4 FEZ JH 
Jg d GHW AT A E HE F UA FR ee -- 2x28 — 


FAE RENA fh dE 
9|38 7.1.5 R T€ v""4XàeT: 
Tu DP 
Plo Taig 
P q 


XOU ERE ER DP PT 3j 
(X) = Tu X —- XT» 
XY XE oL DASHES AI 3 ACT) ACT )= 
X 4$dGESGRH Y 定义 为 
d Z 
i0 T, 
MA Y 'TY =diag(T,,,T~). 
证 明 Riti X08 $(X)-0H 


|: 8D = To, 


p"xv = [> ai 
0 0 por 
r gor 


k: X AY SVD FÉ, HOt E, = diag(o,). r = rank ( X). BZA 
程 Tu X = XT; fF 81 

[Au Au^ [DD "| = [^ M B1 

-An AÁn--0 O0 0 0-:-B; Bo 
其 中 U'UT4U-(CA,;)8 vr V = (B). DIR Ho 8230 fi | I 
H Ap =0,By=0 H ACA) =AC By). X 

ACA) = ABa) SACI) N ACT) 
A2—Jj ii, SR ACACT IAC T 2 RAR TASES LER + My 
fT iz Az Hy To = Ayh. 由 计算 知 $6 0-0. Bla, 如果 
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$ 3E PBA IE X iE Z dk 


Y" Ty- P zy re]! Z 
0 Adl~ 0 Tilt I 
| FT, TüuZ ~ ZI» + ME mñ 0 1 ' 
0 T 0 Toi 
7.1.3 € 
i1 2 3] 1.0 0.5 -0.53 
T=.0 3 TID 1.0 Z 
.0 -2 0 0.0 1.0 
则 
1 0 0 
Y'rY -|0 3 8j. 
0 -2 3. 
通过 重复 应 用 引 理 7.1.5, 我 们 能 建立 以 下 出 一 般 的 结论 : 
定理 7.1.6 (OHIANE) 假设 
Ti; Toe … Ty, 
QHAQ = T = ° Pa (7.1.5) 


0 0 -- T, 
X ACT” —4- Schur 分 解 且 设 T, OAR. 如 果 ACT, 
ACT) - B BA4x 38 i55; PRA EET AES AEM YOO THE 
得 
(QY) 'A(QY) = diag( Ty. Ty) (7.1.6) 
证 明 OA HF 7.1.5 RIA SAA BB ng xk ur. [| 
BET XT IE 了 .对 应 不 同 的 特征 值 ,那么 我 们 有 以 下 推论 : 
推论 7.1.7 如 果 ACC O MAA — E 3 2 E X 使 得 
X !AX = diag(Ay I+ Na," AT + Ny), N, € OY, 
(7.1.7) 
这 里 11，… hy BRAS, BR yn, BA nytt n = n. E 


奇 个 N, 都 是 严格 上 三 角 阵 . 

许多 重要 的 术语 与 分 解 式 (7.1.7) 有 关 , 整数 n, 称 为 4; 的 我 
数 重 数 . 如果 n, — 1,35 A a, 称 为 单 特征 值 . A, 的 几何 重 数 等 于 
null( N;) 的 维 数 , 即 与 A; 相对 应 的 线性 无 关 的 特征 向 量 之 个 数 .如 
Fa, 的 代数 重 数 大 村 它 的 几何 重 数 ,那么 4, 称 为 退化 的 特征 值 . 
一 个 矩阵 若 有 一 个 退化 特征 什 则 称 为 退化 第 阵 . 基于 下 面 的 结论 ， 
非 退 化 矩阵 也 称 为 可 对 角 化 阵 . 

推论 7.1.8 CHARD A E73”* 非 退化 当 且 仅 当 在 往 一 个 
aE AEE X€ D” RIF 

X ! AX = diag(A1.77,A,). (7.1.8) 

WEB] A dE (EC BEC IEEE Sp] Bary, x; € 77 
且 对 应 标量 A, 4, E Ar m AE lin RE FEET 
FA BM X [ar z, J€ OR AX = XD ES D = 
diag( Aj, ) 日 

注意 到 如 果 VP E x 1 的 第 ; 行 ,那么 A = AH. eX 
的 列 为 左 特征 向 量 ,X 的 列 为 右 特 征 向 量 . 

例 7.1.4 wR 


| 5 — ] 1 | 
A= H X = ' ` 
-2 6 Uu 一 


"RA X !AX =diag(4,70). 
如 果 我 们 将 {7.1.7) 中 的 X SF, 
X = [ Xi, UU, X, | 

n 


1 n, 


WIC" = ranC X QD: CDran (X4) , FE f Z8 IBS 7 BM. Sh x 
些 子 空间 的 基 特 别 选 取 ,那么 有 可 能 在 大 'AX BJ E SATB 
生 更 多 的 零 元 素 . 
定理 7.1.9(Jordan D) PRACT MBA ERE ARE 
奇异 阵 KECC** AEX TAX diag(J 1，…,.J,) 这 里 
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- -一 ”一 -- n xÜ h hn —— n - 


— T" muka rr 


Ü of, 
J, = ds » | 
Oc Ü A; 
fem, Xm; RE my totom; Sn. 
证 明 3 Halmos( 1958, M 112 ME.) D 
这 里 J A Jordan KR. AE Jordan Ht HY XT ft Be 85 Ui Fr A< NE 
一 ,但 与 每 一 不 同 特征 值 相对 应 的 Jordan 块 的 个 数 和 维 数 是 惟一 - 
确定 的 . 


7.1.5 对 非 正 交 相 似 变换 的 几 点 看 法 


iE FE ERS Jordan 块 结 构 难 以 从 数值 上 确定 .可 对 角 化 
f nx n SBA A inn "中 是 称 密 的 . 款 而 ,一 个 退化 矩阵 的 微 
小 扰动 就 会 使 其 Jordan 型 面 自 全 非 . 我们 在 了 .6.5 小节 中 对 此 做 
进一步 地 探讨 . 
在 特征 值 问题 中 ,出现 的 一 个 相关 困难 是 几乎 送 化 的 征 阵 榴 
特征 岗 量 官 阵 可 能 是 坏 条 件 的 .例如 ,任何 将 
A= | f ||]. O<. L. (7.1.9) 
0 l-e 
WF RES X ABA 8 OUS A AO 范 数 意义 下 ). 
x H6 3M Be 38 oT DS B DLE BUT SY E. h T 
HCX ' AX) = X 'AX + E, (7.1.10) 
Hop 
|| E llo = nes (X) || A Ila. (7.1.11) 
显然 ARRAS RH TETERÜEIR Pe FEAN IRE. 


7.1.6 奇异 值 和 特征 值 


Ht J- A 和 它 的 Schur 分 解 QAQ =diag(a;) + N 有 相 辣 的 奇 
异 值 ,可 以 得 出 
| 367 7 


Tas — ————e!7c?SóA———4———A—————— rr rn rrt kuk RR RP PEN E ER rd o 


O mint A) S min | À, Lx max | À; LX Ome (A). 
NRTA = fa ERIS AE PF 98 A LH n] E 
max ER & eC A). 
op j 


这 提醒 我 们 对 于 非 正规 矩阵 , 当 分 析 Ac = b 的 灵 考 性 时 ,特征 值 
没有 奇异 值 那样 的 “预示 性 ” 非 止 规矩 阵 的 特征 值 有 别 的 缺陷 . 参 
着 11.3.4 小 节 . 


习 wd 
7.1.1 证 明 :如 果 了 E ?是 上 三 角 阵 且 正 规 , 则 了 是 对 角 阵 . 
7.1.2 证 明 : 如 果 X 对 角 化 (7.1.8) 式 中 2x2 MEH ec LEA 
eO. 


7.4.3 RR A € cr soe p REGE, MIE, ME QHAQ = T BT AY 
Schur ^Hfg H. AB — BA ,那么 Q'BQ BEAR. 
7.1.4 GEAR A Sm pU BACT PH mn, A A:IACAB)-À 
(BA)U f 0,*,0l. 
UM] 


7.1.5 EAC M Schur ARER HES e >0, 存 在 一 个 可 对 
fi dL RUSE 吾 , 使 得 | A — B || :se. 这 表明 可 对 第 化 先 阵 的 集合 在 纪 PRR 
密 的 ,并 且 约 日 标准 型 不 是 一 个 连续 的 托 阵 分 解 . 

7.1.6 假定 A 一 A H QUA,Q, = T, A, BJ Schur gA. IEH i o, AH 
TF |, | 

limQs, = Q, 
其 中 QHAQ = T E. LAA. ix dé HH kB E BO FOE (ELTE EI OC 0 E 2 i T. 

7.1.7. uEBBCT. E. 10081 (7. 10. 11). 

7.1.8 试 说 明 怎 样 计算 


A CIÈ 

wl p], 
B DY; 
k J 


的 特征 值 KA B.C HD 是 给 定 的 实 对 称 阵 . 
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7.1.9 用 Jordan 标准 形 让 明 若 矩阵 A 的 所 有 特征 值 均 严格 小 于 1,90 
lim A^ - 0. 
7.1.10 PHA: 
rt) — yo), si = 1, 
ez) —~- aft), y= Ü 
Af a(t) = cost: A yl) = sinir). 2 h20, FARI z, == x( hh A ym 
yCEh ) 8 — REGE (CS E 
ry — Ly — 0: 
AVIS l: tea, lo Aw 
yel 1.0 7 Fury 
FH 2: z, (= 1! Ay 
Yer = ] Ares 
方法 3: rp l+ Ayes 


Metro Anat 


Ez EE: 
ile A]. 
Miel ve 
来 表达 每 种 方法 ,这 里 A, 2x2 A AAA TT 


i£ 并 -2 时 的 lim 和 limye. 
7.1.11 S |£ 942" 4  — Jordan Et s (J) EES? 


用 格式 


7.1.12 WERE 
I _ R, Raols 
R = | Ü M 
bo q 
是 正规 阵 且 ACR NaC Re) =A, Ry = 0. 
本 节 注 释 与 参考 文献 


Wilkinson( 1965, 第 - 章 ) 和 Stewart(1973, 第 六 章 ? 畏 美 地 介绍 了 代数 特征 值 问题 
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AT at FA REIER PAGE 11.3.4 4 WO) E n RS eA W; 
K-C. Toh and L. N. Trefethen ( 1994}. " Pseudozeros of Polynomials and Pseudospectra of 
Companion. Matrices, " Numer. Math . 68 ,403-—425, 
F. Kittaneht 19955. "Singular Values of Companion Matrices and Bounds on Zeros of Poly- 
normals, "SIAM J. Matris Anat, Appl. 16 , 333—340. 


87.2 扰动 理论 


计算 特征 值 也 就 是 计算 特征 和 多项式 为 零 的 点 .Galois 1E Pr 
诉 我 们 如 果 n>4, 这 样 的 过 程 必 须 是 过 代 的 .这 样 , 有 了 人 限 终 上 必 带 
来 误 益 .为 了 知道 一 个 合理 的 迁 代 终止 标准 ,我 们 需要 扰动 理论 来 
告诉 我 们 特 样 考虑 近 短 特征 值 和 不 变 子 空间 . 
7.2.1 特征 值 的 敏感 度 

几 个 求 特征 值 程序 产生 - 列 相似 变换 X, ,使 得 X; (AX, 逐步 
Rh “EE XT fü dE". 自然 会 阿 , 此 阵 的 对 前 元 素 与 它 的 特 生 和 值 相似 程度 
EH? 

E 7.2.1 (Gershgorin 图 盘 定 理 ) 如 果 X'!AXSDHHF 
HP D-diag(d,,,d,).8. F AALEAR MA 

A(A)CUD,, 


其 中 D = 1z CTi z-dil 222 | 


WE RB Bi ACACA)BARA- P" AcEd,,i-lin.HrF 
D-AD)^ FAS, H S| BB 2.3.3 Bi 
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机 


- . | fey | 
l= [COD - af) Film = >) Aal. 
n & 


对 某 - A Sek) My. (BRA ACD, D 
if nT HERA DE ( Gershgorin) lb] at D, Ej R: fit lA Moa, aR A D; & 
SAA 的 :个 特征 值 .参看 Wilkison(1965, A 71 HE). 
7.2.1 wR 


[ 10 2 3 
A= | — 1 0 2, 
| 1 -2 L 


BRA ACA)2«110. 226, . 3870 +2.2216i, . 03870 — 2. 221611 E. 
Gershgorin HA x 

D, = il z l:| z — 10 1 5! , 

D, = fielitzI<3{,HD,= flelil2e-11< 3}. 

对 于 一 些 很 重 鉴 的 求 特 征 值 程序 ,能 够 证 明 算 出 的 特征 值 是 矩阵 
各 + 三 的 精确 特征 值 , 这 里 三 的 范 数 很 小 .所 以 ,我 们 必须 了 解 一 
个 矩阵 的 特征 值 是 如 何 受 微小 拢 动 所 影响 的 , B| BH32X 4 IRE RE 60 g 
型 结果 是 下 面 的 定理 ; 

定理 7.2.2 (Bauer-Fike) wh p RAF EC "AiR 
AB H X AX = D = diag àj, e, An), H 
min là- a I e, QOL Ell >, 

Hop, 表示 任 一 户 范 数 . 

证 明 AN ASR k 不 在 人 44) 中 的 情形 . DRE 
X (A*E- pl) X BRA [I+(D ul) (X LEX) aE. 
于 是 从 引 理 2.3.3, NA 

1x: || (D — wb) TCX TEX) ||, 
DPD- -pn !]| , xil EF, IX 1, 
由 于 (D - pi)-!: 是 对 角 阵 ,而 对 称 阵 的 p REAR AGRE 
2o E kke | CD — er ! || ,= min il .由 此 ,可 知 定 理 成 
x. [] 
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通过 Schur 分 解 可 以 得 到 一 个 类 似 结果 ， 

定理 7.2.3 BR QAQ < D- N & AC "的 一 个 Schur 
分 解 ( 见 (7.1.3)) .如果 pECACA+ ENA p BAIN | PH D R s 
的 最 小 正 整 救 , 则 


min | A — u Ix; max(6,@'?), 


AC A[A) 
其 中 
a 
9 = Eila SUN HE 
bri} 
证 明 定义 


. _ _ 1 
ê= min lA BI= TOF D j 


UM 8—OHN EH RR M.A e0, WA T-(nf-A) UE FRA 
由 引 理 2.3.3 我 们 有 
Ix d Cui -— A) E|]. Il GT- AY ll Els 
= | ((f - D)- N) !| o HM Els. (7.2.1) 
(et -— D) ASAE EIN |? =0, EGER (Cep — D) IN)? 
=0. 这 样 
pol 
(Cpl - D - NR)! = S (Cok - D) IN) (a — D) !, 
Ë — (y 
县 
_ 1 S/N V 
I(ar-m- v si). 
XP e>, IA 
一 | 
Il (af - D) - N) I3 IN UE, 
种 一 中 
目 从 {7.2.1) ,8 所 9. 若 8 过 1, 则 
pol 
Ia - D) - N) lo S UNI 
k-ü0 


HA CT.2. 00,820. BEA 8 max( 8,0 ^), i] 
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例 7.2.2 me 


rl 2 3 1 0 0 0 
A= |0 4 5 E E= 0 0 Of, 
0 0 4,001 L.001 0 0 


ABA ACA + E)711.0001,4.:0582,3.94271. E A 的 特征 向 量 竹 阵 
i By X10". EA 7.2.2 中 的 BauerFike Re KER 25 104 
而 定理 7.2.3 中 的 Schur 界 的 数量 级 为 102. 

# A JETER, E 7.2.2 和 定理 7.2.3 都 表明 了 潜在 的 特征 
值 受 敏 度 , 特别 是 当 es KER NID 很 大 时 ,六 的 微小 变动 就 
会 导致 特 钼 值 的 很 大 变化 ， 


例 7.2.3 如 果 ， 
> 8 0 0 
A=] O] R E- | ! |. 
LO OÜ 10" 0 


MAMTA ACACA)R u€AC(A*E),.lA- 41-10 !. 在 本 例 
PERE A 量 级 为 10" 隐 的 变化 导致 了 其 特征 值 量 级 为 UME 
化 . 


7.2.2 单 特 征 值 的 条 件数 


CUR A 图 正规 的 ,那么 它 的 特征 值 是 不 会 极端 敬 感 的 
男 一 方面 , 非 正 战 性 并 不 一 定 隐 会 其 特征 值 很 灵敏 . 其实, 一 个 非 
正规 矩阵 可 能 既 有 好 条 件 特征 值 你 有 病态 特征 值 , 基于 这 个 理由 ， 
有 必要 完善 我 们 的 扰动 理论 以 便 将 之 应 用 于 单个 特征 信 而 不 是 整 
个 谱 . 

为 此 ,假设 4 LA C Cn A PEA E ey 满足 Ar = Az, 
yA=Ay | r has ly llo 1. 805 YPAX = J BH 54$, 
Y"= xX"! BA y Ma E XOU, OM Y(:,i) 的 非 堆 倍数 (对 某 个 
i) 1= Y C, DPX, OTA wyHr 尖 0, 访 事实 我 们 稍 后 要 用 
# . 

运用 函数 理论 的 经 典 结论 ,可 以 证 明 在 原点 附近 存在 一 个 可 
PAY zte) 和 各 (se) 使 得 
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(A+ eF)x(2e) = ACe) r(e), JE]; = 1, 
EP ACQ)=A,2(O)— r. £ MIRAE. =0, 我 们 得 到 
Ar(Q) | Fr = À t)r + AFCOY, 
用 yt se eh ay D IRIS vH, 用 家 绝对 值得 


d F= yc, WSL Ti LL INE 到 x 于 此 ,我 们 称 s (a) = | Fx | 
的 倒数 为 特征 值 的 条 件数 ， 

ALi RS ,以 上 分 析 表 明 RS A 作 量 级 为 的 扰动 , 那 
各 其 特征 值 4 之 扰动 可 能 达到 eAy(4). 这 样 ,如 果 s(4) 小 ,就 有 
理由 认为 4 是 病态 的 . 注意 到 s{4) 是 与 4 AME AOR WB E 
3C fRES SA, HRB A REE s CA AME - 

sA NERE A 接近 AA m REI IE. FRE]. SUR A 
ACGRTHIEIBH. CAL BARE -+ E 使 得 4 RATE 的 重 特 
征 值 且 
| E d; 2 <- s(A)_ 

|l A | 2 =A SX 

该 结论 是 Wilkinson 1972) HEH AY. 

$)7.2.4 X 


I 2 3 | 9 0 0 
a= jo s | 和 E=; 0 0 
0 4.001 L.001 O 


那么 AC A+ E25711.0001,4.0582,3.9427|] B. s(1)==. 8 X 10°, 
s(4)==. 2 x 10 3, HB. ç (4. 00) ==. 2 x 107. 可 以 观察 到 
| E ll 27s(A) X 8) SEAT GE JR PT om e EXE EG. 


7.2.3 多 重 特 征 值 的 敏感 度 
如 果 是 多 重 特征 值 ,那么 特征 值 的 敏感 度 问 题 更 复杂 . 例 


如 ,如 果 A = lo "Ju r= P ' 


EZ ACA +egF)= 1 + 
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FS a 


V ea | TERN ez 么 0 那么 可 以 推出 A + oF 的 特征 值 在 零点 不 
可 微 .它们 在 原点 变化 率 足 无 穷 .一般 地 ,若是 和 之 一 退 伟 特征 
值 ,那么 A BY OCe At EAM O ( ERICH 六 对 应 一 个 
户 阶 约 当 块 ) .详细 过 论 可 见 Wilkinson( 1965, M 77 页 起 }. 


7.2.4 不 变 子 空间 的 敏感 度 


伍 感 的 特征 阿 量 集 合 可 以 组 成 -个 非 敏 感 的 不 变 子 空间 ,只 
此 空间 相 庙 的 密集 的 特征 值 是 孤立 的 .更 精确 地 说 , 假 议 


Fu Ti] r 
HAQ = | 7.2.2 
Q Q () T H^ Fr 
r Ror 
E A 的 一 个 Schur ied 
= = LQ: Qə |. (7.2.3) 
Hr 


出 我 们 对 特征 向 量 扰动 问题 的 讨论 E M SET B ran( Q | 83 
igi BE HB ACT 20 A CT») Z lel B9 EB r. 该 距离 的 适当 应 Et 
EH REE X > Pu X XTW RDA EE Zk T T j 
曾 在 引 开 7 了 .1.5 中 出 现 过 ). 特 别 地 MRR IE X EBE TT 和 To 
之 间 的 分 离 度 为 : 
sep( Ti, Tz) = min E Tu ci - E 
则 我 们 有 下 面 一 般 结 论 ， 

定理 7.2.4 假设 (7.2.2) 和 (7.2.3) 成 立 且 对 人 尾 意 矩阵 

EC Y”? Rist QUEO 有 下 列 分 块 : 

"Ej Ep 


(7.2.4) 


如 采 sep! Pa.TA4)20 H 


SÌ Tala. )< sep( Ti, T») 


" 
|EI (1 t sepC Ti, To)? 5 
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那么 存在 一 个 PETO T" EB 


| » | Ez ||. 
[PIS apl Tu, T 
&ftQ-(Qu-Q,Pr- PUP) 12 的 各 列 组 成 人 + 五 不 变 子 空 
间 的 标准 正 交 基 . | 
WEAR 这 个 结论 是 Stewart (1973) Z ¿E J 4.11 的 稍微 重复 ， 
8 XI EE gg FAS RISE. 也 可 参看 Stewart 和 Sun(1990, 第 230 
H). ABRE (T+ PoP)! see eRe ae pO PEP 2 3 Ae 
阵 .参看 4.2.10 Tr. [] 
PRICE 7.2.5 de EE € 7.2.4 PRERA, AA 


. > | £a lle 
dist(ran( Qj) .ran( Q4) <4 (Ty. Tu 
证 明 利用 王 的 奇异 值 分 解 ,可 证 


[P(I + PHp)'!2|,< | P ls (7.2.5) 


因为 所 求 之 距离 就 是 QU 01= P( T+ PUP) !2 的 范 数 ,推论 得 
if. " 

这 样 ,sep( Tq, Ty) 的 倒数 可 以 看 作 - -个 条 件数 ,用 来 度量 不 
变 子 空间 ran( 人 1) 的 敏感 度 . 


例 7.2.5 ix 
3 10 0 —20 1 -1 
r=) res | paf | | 
1 |o 1 2 lọ 3.01 2 a 1 
"T T 
还 假定 A=T= | "| 
LO T» 


注意 到 AQ; 一 QT, 这 里 Qi — [e 621 € 3277, 由 计算 知 
rl 1 
— 10 5! 
Ex = 10°) | 
且 我 们 测试 
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“Fy, Fi 
A +E — 
‘Ty, Tx 
的 Schur 分 解 , 则 发 现 Q SABES 
| -0.9999 - 0.0003 
0.0003  — 0.9999 
- 0.0005 - 0.0026 |` 
Qo. 0000 0. 0003- 


于 是 ,我 们 有 
dist(ran(Q,),ran(Q,)) 2.0027 = 10 °/sep(T1;, Tos). 
7.2.5 特征 向 量 的 敏感 度 


如 果 在 上 BPS ~=1 ,都 么 就 是 分 析 特 征 向 量 的 敏感 度 问 
题 . 

推论 7.2.6 HUE A,ECCU^RQ-[qu QE CHE 
MP Gg EO 


owo-[ E] t, ewe] 
— LO Tzin-1 — i8 Enin-]| 
] n-1 | z-i 


【这样 ,91 是 特征 向 量 . )3w 3 G = mni T^ 一 AI) 0 H 
51 wll à 
| E (1:23 < 


那么 存在 满足 || P4 Lele y per itg, = (q + 


QP) /1+ PHp 2 À + E S) EH ES EQ 范 数 意义 下 ) ,而 且 
A 


ó 
dist(Span i « 1f | Span] Q1 I) = 4 — | àl — 


证 明 从 定理 7.2.4, 推 论 7 2 5 并 注意 到 车 T = À NA 
sep( Tu, To )= Gmnf T> — AE) ,就 可 得 此 结论 . [1 
G minl To 一 AE) R JR I Hi filii À 和 Ty 的 特征 值 之 间 的 分 离 
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REFN Br EA Bi “ER 是 内 为 
sep( A1. T.) = On To — AED) 去 un. [H-A], 


而 此 十 界 是 一 个 粗略 的 估计 . 
特征 值 的 分 离 度 影响 特征 向 量 的 敏感 度 是 毫 不 青 怪 的 . 实际 
l. 4 为止 退化 的 重 特征 值 ,那么 对 应 前 不 变 计 空间 语 有 无 穷 包 可 
能 的 特征 向 量 林 .以 上 分 析 仅 仅 表 有 明 这 种 不 确定 性 在 特征 值 的 集 
结 时 出 现 .换血 话说 ,邻近 的 特征 值 所 对 应 的 特征 向 量 是 “不 稳 滤 
m. 
例 7.2.6 4X 
01 0.017 
~ .9.00 0.99!" 
d 5 dE A= .99 有 条 件数 VZ (:99) 81. 118 且 相 应 特征 向 量 
x—[.4472, —.8944]'. 5 —2r da , A S" BY 8 ty” 46 Ek 
L.01 0.01] 


A +E = | 
0.00 1.00- 


的 特征 值 1 = 1.00 有 特征 向 量 
+ = [0.7071. - 0.071]. 
习 题 


7.2.1 i QUAQ - diaglA,) +N EAEL nh) - Schur y AFA SE XC 
w(A)= || AUA- AA! | p. Ex 


AP EN |+ < Uo" uA) 
sia g INTREN cay OD) 


E = F W EI Henrici( 196210 Eberloinf 1965) 44 14H. 3854 n = 2 时 , 试 证 有 明 这 
wA R. 
7.2.2 R AC UU FIX lAX=dag(ÀA l. A 2. KrPr a, H v Alla]. ur 
明 若 X 的 列 向 景 是 2 范 数 下 的 单位 向 民 , 则 (XY! — n DOC sa. 
7.3.3 Ü QUAQ = diag( 4,2 + N BA BJ Schur PMH X lax = 
diag(A,). WEBA i; ( X PZ8 E CIN | el All X. Loizou( E969). 
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2.2.4 X X !AX- diag(A D H lA || A, i, M 


ofA) o 
e; XM) l A, = ki Xs (A). 


fi n =2 TERE TEH TES. Ruhet 1975). 


7.2.5 se A= | “| Ha Ab W (a)- stb) = Ls led 
> 
(a- b)|2) 1. 
7.2.6 (Rik 


o zl 
À = 
Ü Ts 
H. À SACK). HERA og — sepli, Ta). W 
1 - c 
SCA — —=— ———— —. € = 一- 
vf lt | (Ta — AI Te ls vs? + vli 
7.2.3 证 明 单 特征 值 的 菜 件 数 在 西 相似 安 换 下 不 变 . 
7.2.8 #E Bauer-Fike 生理 (定型 7. 2. 23 rp E le) FER i T, BE BB 
min la- «lx t IX^! £1 XI! , 
AC A: A) 
7.2.9 证 明 (7.2.5) . 
7.2.10 证 明 如 果 BEL PH CE "^"ep BUR AC ACB)Al , € 
A(C)4 sep B,C)x|A - ul. 
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87.3 FRR x 


RERE ACC "$mERUC:^"*.fxE Householder 
正 交 化 {算法 5.2.,1) 能 推广 到 复数 阵 ( 这 能 办 到 ). 考虑 如 上 下 连 代 ， 


To= UN AU. 
for =1,2,.: 
T, (= U,R,CQR 分 解 ) (7.3.1) 
T, = R,U, 
end 
由 于 T,= R,U, = UI UR O U, = UUT, ED ,由 归纳 法 可 得 
T, = (UoU 7 U4) 'A(CUSU, 7 Ue). (7.3.2) 
这 样 A T, 酉 相似 于 .于 JU E E k a E — fg Ë: , X Sd 
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a a ee ee SS 


ERAJ, EER PD BORSE. BU, (7. 3. 22 JL EE RAO 
A 的 Schur 分 解 ， 

FECT. 3. DER QR A, F9 BETTER Schur 分 解 的 最 有 效 
算法 的 灾 柱 .为 了 导出 方法 并 得 出 其 收 仇 性 质 ,首先 给 出 本 身 也 重 
朗 的 两 种 别 的 炒 特 征 值 的 先 代 法 :军法 和 正 交 渤 代 法 . 


7.3.1 BR 
假设 A €. UPR AL B X AX = diag(at ADU 


Xs lazna, J la l> ll anala BREE ding e 
LC RR EAT REA g 
for & = 1,2,-- 
SUIDA. q'* D 
qU = sU d 2 |, (7.3.3) 
AU = Lg JHAGU) 
end 


做 2 范 数 单位 化 并 没有 任何 特别 之 外 , 它 只 是 让 本 节 的 讨论 能 较 
好 的 统 :- 
ERTER RERE AE. 如 果 
g” = 4,7, T agta tt 6 ar, 
H a 0,382 n] EA 8E:H 
AYO = au (a, + 1 2 e [S )a ,). 


3 G1 M 


HF g® € spani A*q 9 RATIH 


A. 


dist( span} q 4| ,Spani zl) = :ol 


mA 
‘aW à> |° 
Ja; —A |= of i ). 
lla lama ,我 们 称 a, 是 主 特征 值 .这 样 , 如 果 
| 382 ° 


A, BEZH gU Te FB IS 3: RE ov, 方向 上 有 一 分 量 , 那 
ARENAS. 
没有 这 些 假定 的 这 代 性 质 在 Wilkinson(1965,570 页 ) 和 Par- 
lett 及 Poole( 1973) B 45 h THE. 
fl 7.3.1 如 果 
j~ 261 209 -497 
-530 422 -98|, 
- 800 631 - 144 
则 ACA)7 110,4,3] 4E (7.3. 3) PE 970 —(1,0,0] T 我们 有 : 


qu 

13. 0606 
10. 7191 
10. 2073 
10.0633 
10.0198 
10. 0063 
t O20 
10. 0007 
10. 0002 


A= 


M 
> 


— 


oe ud BD 


EER, RA ERA AERA HEE Al ZA l|, AWN Ree 
Se RHG GOR v 方向 上 分 量 为 零 ,因为 选 代 过 程 中 合 
人 误差 通常 能 保证 迭代 序列 9 必 在 此 方向 上 有 分 量 . 而 有 ,常常 在 
求 主 要 特征 值 和 特征 回 量 的 应 用 中 已 知道 r SA. ONE 
地 , 令 qO MAk- -估计 ,以 减少 出 现 a, 很 小 的 危险 . 

注意 到 应 用 桥 方 法 所 需 惟 Iti RE 30 m TF P E: EF in] E: H 3 
Ag 的 子 程序 . 没 必 要 用 一 个 nw xn 的 数组 来 个 上. 正 由 于 此 , 当 生 
ACK URS EE AL [Ay | 0| Az | 相差 较 大 时 ,此 算法 很 有 效 的 . 

用 前 一 节 提 出 的 扰动 理论 能 够 闭 得 1 和 一 A | ADR 3 fi. 
定义 向 量 or) = Ag? — AO GO Fe ea CA + ECO) g = 
aig) pcm pO = — OT gH pore ACO B À + BO by RS GE 
iB H 
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e caua LES IS pe d 


s(AQ) ss (Ay) 
MERTE T A Pe B 7E VG RPE Del at, ABZ A BJ BE aR 18 
s (41) 的 一 个 合计 .特别 地 ,如 果 u PBA CAN Ae? 方向 于 的 单 
jp E (2 范 数 下 ) ,那么 我 们 作 近 位 sO aa tef Pt, 


7.3.2 EVRE 


WAK- SEE) np FAR ra ER ARB es as op 证 
一 选 定 整数 .满足 1 入 rj. 给 定 有 具有 下 交州 的 nxXr BE Oo, IE 


ZO SET IERI NÉS 5H, SO: 
for £ = 1,2,°:: 
Z = AQ; (7.3.4) 


GR, 一 Z (QR ati) 
end 
FES MIA r= 1k ARIA. LLP) gue E EY JE 
为 gt = Que, 所 产生 的 向 最 序列 . 


为 了 分 析 达 代 的 表现 , 设 
QUAQ = T = diag(A;) + NA zm Age ma 


(7.3.5) 
J ACO I Schur PAR. RIS 1r n B Q , T A W Oke: 
Ti To] r 
Ü ry 
F nr 
Nu Nit r 
LO N |, -r 


r Ho PF 
#|a,|>|a-+1|, RA FS ial D(A) = ran( QR E K Ay 
IR]. Cee SRL A.A, 所 对 应 的 惟 CUR EES OP NE 
理 表明 ,在 合理 假设 下 ,由 (7.3.4) 产 生 的 子 空 间 ran ( O, E 
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一 r 


Q-[0, 1 T=| 


Hr 


(7.3.6) 


ALA, |° ERARE, CAD. 
定理 7.3.1 AC” i Schur 7S (7.3.5) 49 (7.3. 6) 
AXE n 22 Ie A, |> Ape | B. 0220 满足 
(1-80)'A,, HEN I e. 

如 果 Q € AER EL 

d = disit D, CAD ran (892) < 1, 
IBA 33 (7.3.4) P k AS ARTE Q, 满足 

dist (DD, A), ran Q, ) ) 
ct 8 NERA) VE) 


> J41-d sep Tii, Taz) 
(er CENT SZ + 2| 
la [- ENT EI O0 fO 
证 明 此 证 明 放 在 木 凶 末 的 附录 中 ， D 
定理 7.3.1 PAA a< 1 确保 初始 矩阵 OER RIED B| 


上 是 非 退 化 的 : 
d < l DAD f] ran(Qy) 101. 
定理 从 根本 上 说 如 果 这 个 条 件 满足 日 86 取 的 足够 大 , 则 


Ë 
dist(D,CA),ran(Q,)) xi c * Va] 


这 甲 c IK sep( Ti, To) A A SE MERI iA. y H, R 
| A, | 和 | A, | Z25482 886 K KAN SRE. 

Gl 7.3.2 如 果 (7.3.4) 用 之 于 例 7.3.1 PHA, RE Qs 
二 [ej,e2], 我 们 发 现 : 
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zn 


dist( oC A}, rant Q, 9) 
0.0052 
! O 0041 
Ü. 0039 
0 0030 
(0.0023 
OM? 
0.0013 


— > a d n2 i 一 


REAU A = (3⁄4) BATE. 

FA Stewart(1976) BB FE 25 nf JL BE E 268 28 4 AGR E dc DNE 
方案 中 UAE Aa 满足 

À, Ë 

À; 
(EH EBA | 4.417271") Stewart PRASE HS 5 
FE QIAQ, 的 Schur 分 解 .在 A JK PF AOR Tz B) JL 
个 最 大 特征 值 的 情形 下 ,该 方法 是 非常 有 用 的 . 


7.3.3 QRIRE 


我 们 现在 来 “导出 ”7.3.1) 中 的 QR EHER E 8 ec. 
假设 47.3.4) 中 r=n HA 的 特征 值 满足 
Ar} > > 
(7.3.5) PAY Q 和 (7.3.4) 中 的 Q, 分 划 如 下 : 


r 


Q = [gists g, ds Q, = aly gh), 


|a? A |== i= lir 


如 果 
dist( 万 (和 spanfgi a, gf? D) X1, i=1:n, 7.3.7) 
则 从 定理 7.3.1 可 推出 ,对 i=1:x 有 
dist{span{ gf, gf? | .spaní qi, g;1) — 0. 
这 说 明 由 T, = QU AQ, iE X OKT, 收银 到 于 三 角 阵 .于 是 ,可 
以 说 只 要 初始 阵 Q € .不 是 退化 阵 ( 满 足 (7.3.7)》, 正 交 迁 代 
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法 就 能 算出 Schur 分 解 . 
考虑 怎样 由 前 -个 TQ FW S BIE T, H SR I AA CH 
^T QR 3X. — Ji i, (07.3.42 RE TT; -| 的 定义 中 我 们 有 
T, = QR AQ; .. = QE CAQ;, . ) 
一 (Qi IQ) Re. 


T, = QHAQ, = (QOYAQ, (070) 
— R (QQ). 
这 样 , 先 计算 T, .的 QR 分 解 ,然后 将 两 个 四 Pe Pr 3É ke 3É X 
决定 了 Ti. 这 也 正 是 (7.3.1) 中 所 做 的 . 
例 7.3.3 如 果 选 代 : 


for k = 1,2,-°° 
A = QR 
A = R@ 
end 


应 用 到 例 7.3.1 F EBE 3E2 ERR F Z # Z A RIOT HE: 
注意 到 一 步 QR p iS EE E O (n). TU ED SO S FH Er eE FE 
HETE). 显然 ,用 该 方法 计算 Schur 4p E (Fr REB 4 AY. 
幸运 的 是 这 些 实际 困难 能 够 克服 , 见 $7.4 和 总 7.5. 


& O(l anl) O 2x | Ollar ) 
1 00? —— ———— 10! 1072 
2 I0 ` 10 2 10 3 
3 I0 2 10 ` 10 ` 
4 10 `` 1073 10 ^7 
5 1ü ` 10 + i0 3 
6 ig 4 IO `š 10 7? 
7 1074 10 5 10 + 
8 10 ` IQ 5 10^? 
9 10 ° ID `? 1) 7? 
10 105 10 ° 104 
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7.3.4 LR KRE 

TUBAE F LU 分 解 而 不 是 QR A18 I REX FORE I JL A PE 2 
来 结束 本 节 . 令 G € CU SARA rox SEO 3. IRATE m F Xx 
代 : 


for £ = 1,2,:- 
Z, = AG, | (7.3.8) 
Z, = GR, (LU 4r f) 
end 
Wr-n HE(LDEXXREgT, A 
T, = G;'AG, (7.3.9) 
可 证 明 如 果 令 Lo= Go, W T, 可 由 如 下 方式 产生 : | 
Ty = Lg! AL; 
for $ = 1,2,:- 
Ty, = LR, (LU 4} fg ) (7.3.10) 
Te = Ribs 
end 


XS fCCT.3.8)1(07.3. LONER AR SRAM LR SC BB 
没 下 ,TT W 38 b fale. m n UI SC XX P Fh EE ri 
证 元 技巧 ,{ 和 参看 Wilkinson( 1965,602 页 )). 

附录 : 

为 了 建立 定理 7.3.1 我 们 需 用 到 以 下 引 理 , 它 关 于 一 个 第 阵 
AL He 2 m. 

引 理 7.3.2 4 QUAQ— P= D+ N ZAC 7"""&l Schur 分 
WAP DASARNAFPRELE ABR SA ou 分别 代表 办 
的 绝对 值 最 大 和 最 小 之 特征 值 .如 果 220, 则 对 于 所 有 22z0 我 们 
有 


TE X ty 2 
balas (rare VILLE). (7.3.11) 


=- hu- — s P - — — s rsru ————— 


如 果 A FARLO S5 (1 8)]p | > | N| z, Oster A 20 
我 们 也 有 


& 
lA sato” H 


TN Tr i 
(7.3.12) 
证 明 X 60, EIRE A 为 
A = diag(1, (1 + 8}, (1 + 0Y, , (1 + 80" 3) 
并 注意 到 (A7 070) l. HT N 是 严格 上 三 角 阵 ,容易 证 明 
i| ANA `! || =< IN | r/(1+ 8). PER, 
| A* l= Ht], 2 IL AD + ANA DA ||; 
£z z (A) ( || DI + JANA II ,)* 


not | Xu) 
< (1+ @) fia +o 


z— Àj B, RA AHA + Ale |> | N ie, WA 
ll AD INA ! ||,<1 $05]38 2.3.3 我 们 有 
IA |] = | T^ llo 
= | A"[(r + AD !'NA D iD FA ||; 


D! k 
«eu E | are L T) 
= (1 + ayn (>———p : B 
gpil—- IN| 1+8), 
定理 7.3.1 之 证 朋 
| 用 归纳 法 容易 推 郑 4:Q0 = Q. (Re Ri) (7.3.5) i 


(7.3.6) 代 大 此 等 式 我 们 有 


Vo V. 
T | w. = Ww (PERD, 
其 中 v, = 00, , W, = 9o, .利用 引 理 7.1.5 我 们 知道 存在 矩阵 
xC GRRE B 
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nr 


| 
0 h- 0 Tadil T | 
于 是 


Ti - ro 
^ nl ree po 


以 下 我 们 证 明和 矩阵 Vo XW, 非 奇 异 , 这 使 我 们 能 获得 以 下 表达 
X: 
W, = TË Wol Vo — XWo) Tif LL, — x} |. 
We 
回忆 2.6.3 小 节 中 子 空间 距离 的 定义 : 
dist(D,(A).ran(Q,)) = || Qo, ls = | Wills. 
AFi,- X] llas | X | RNA 
dist( D, A) , ran( Q, )) (7,3.13) 
=< I Th Ila ll (Vo XW) B. mtl + [| X | p) 
为 证 明定 理 , 我 们 必须 对 上 界 中 的 4 项 都 要 估计 . 
由 于 sept Ti: To ERE OCX) = Ty X — XT, WJ fx) 
奇异 值 , 容 易 从 $(X) = - ToEG 


| Ti | z 


— — .3.14 
sep( Tiis Fx) (7.3.14) 


lX | # < 
应 用 引 理 7.3.2, nf uE 
I The aC aye" a) + 
以 及 
Ë 
| Th* la +e)" / (134 一 INTE) . (7.3.16) 
最 后 ,我 们 将 考虑 | (Vo —- XWo | || .注意 到 
Vo — XW; = Qa00 - XQ. 


= Ub, - x1{ 8 o. 


| 


N || Ey 
1*8 (7.3.15) 


(MI) + 


- 


= tg. oj| ^.]| e. 


= (1, + xx4)12(749,), 
其 中 
I, 
Z-iQ0, TM ala, + XX!) 1A 
= (Q, - ox, + XX) 1⁄2, 

这 个 矩阵 的 列 是 正 交 的 . 它们 也 是 DCAD HE, AW 

A (Q, — QX") = (Q. — Ox") T. 
此 关系 式 可 从 等 式 AMO = OTH 推出. 

MAE BÉ 2.6.1 A 
d = dist( D, (AU) ,range( Q9)) = 4/1 — o, ZH Qc)? 


且 由 假设 d «1, 
o, Zgo) > Ü. 


这 表明 

(Vo - XWo) = (I + XX")'°(Z%0,) 
jE aye. 于是， 

| (Vo — XWo) `: || > 

< (rL + XX")! ||, | (Zto,) Il 

LINL- d°. (7.3.17) 
(7.3.13) — (07.3. 16 4 AIL C7. 3.12) MBB eH. C] 

习 m 


7.3.1 (ate: y x€ 7" IER Wiad y= Wx 'Ax |, BM 
了 一 个 矩阵 范 数 , 具 有 人 性质 上 4 如 <= A Bly (bo AGIA 
Wen max|iil .证 明 :对 Yes>0D, 存 在 非 奇异 阵 X C ORE | A ll y= 
Í X ' AX ;Eo +e. 由 此 得 出 结论 ;存在 一 个 常数 M fiis | at || MCp 
+ e)* 对 所 有 非 负 整数 均 成 立 . Cha X= Q'diag(i;a,c.a 1) rh 
0°40 = D+ N ÆA 的 Schur 分解.) 
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7.3.2 证 明 : 册 (7.3. IRIN AREE A 7.3. Pe SC) T, 
7.3.3 BACT CRGRH Q € En” IEZ. FUERA ER 
iA. 
for & = 1,2," 
从 AZ, — Q, RW Z, € L "P 
Z = OR, (QR 分 解 ) 
end 
试 解释 为 什么 此 选 代 通 常用 来 计算 A 的 户 个 绝对 值 最 小 的 特征 值 . 广 
意 到 实现 此 选 代 , 有 必要 解 以 种 为 系数 的 线性 方程 组 , 当 p=1 时 ,方法 称 为 
xD. 
7.3.4 W ACT" Ail B Ar, U A, 满足 
A= Ay = Ap ày = Aa Dl As [ee lA, |, 
Hop A HIER. A 有 两 个 型 如 
À l 
[o al 
ft 29 th ip C 24 FERE PERU BERT , A p BO ak k ETE BI l Ye a 
进行 加 速 ， 
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$7.4 Hessenberg 分 解 和 实 Schur 型 


在 本 节 和 下 一 节 ,我 们 指出 怎样 使 QRGE CO. 3. DA AGE I 
Schur 分 解 的 快速 ,有 效 方法 , 因为 大 部 分 特征 值 /不 变 子 空 间 右 
题 只 涉及 实数 据 ,我 们 集中 精力 推导 (7.3.1) 的 实 形式 : 

Hy = UgAU, 
for è = 1,2,"« 
Hr- = UR, (QR 分 解 } (7.4.1) 
H, = RU, 
end 
其 中 AEk” 8 UER EZE, S RE E. E ff 
BE. E SEHR AR AA ET H, Ae 8 P Fr B, “PE 3: BE” 
的 三 角 阵 ,因为 4 ARIE. ATTRA, RI 42 2 BR AS UT šB 
值 ,而 满足 于 计算 称 为 实 Schur 分 解 的 另 一 种 分 解 . 

为 了 有 效 计 算 实 Schur 分 解 ,我 们 必须 着 慎 选 取 (7.4.1) 中 的 
初始 正 交 相似 变换 阵 US. 特别 地 ,如 果 我 们 选择 Uo 使 得 Ho 是 上 
Hessenberg 阵 ,那么 每 渤 代 一 次 工作 量 将 会 从 口 (n*) 减 为 
Oln’). BMA Hessenber 型 (计算 Bo) 本 身 是 很 重要 的 计算 ， 
它 可 通过 一 系列 Householder XE PE jac S. REM. 


7.4.1 X Schur 分 解 


对 角 均 为 px135 2x231Ag 7 9À F. — fg E 9s 7 UE — fü 
PE. SE Schur 分 解 相当 于 将 矩阵 实 归 约 为 一 个 拟 上 三 角 型 . 

定理 7.4.1 (X Schur 分 解 ) BACH, ， 则 存在 一 个 正 
交 阵 Q C any nit FE ` 


Ra Ri ^ Rea 

| eee KR. . 
Q'AQ = | ° Ro ` m], (7.4.2) 

[. Ü 0 Room 
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其 中 每 个 R; FAL 1 FRA RR 2x2 HE. 

证 明 A 的 复 特 征 值 一 定 以 共 斩 对 出 现 , 因 为 特征 多 项 式 
det( xT 一 4) 的 系数 都 是 实数 , 令 大 是 4(4) 中 复 共 罗 对 个 数 .我 们 
对 点 采用 归纳 法 证 明和 定理 .首先 注意 到 引 理 7.1.2 和 定理 7.1.3 有 
实 的 类 似 结论 .这样 , 当 下 =0, 完 理 成 立 .现在 假设 ke1, IR À = r 
tip C ACA) p40, ATE 中 存在 向 量 y 各 z{z 关 0) 合 得 
A(y+iz)=(r+ig)(y+iz),B 

Aly,z] = [y,2]| “| 
por 

240 的 假设 ,表明 > 与 z 张 成 4 的 一 个 二 维 实 不 变 子 空间 .从 引 
理 7.1.2 可 推 得 ,存在 正 交 阵 UC ” ,使 得 


UTAU = m id 2 
Ü T^; # — 2 
2 n — 2 


其 中 aT) = j ,大 1 由 归纳 法 ,存在 一 个 正 交 阵 OU 使 得 
ÜTT UAE Zit. S Q-Udiag(r,, ORAE MR. D 

定理 表明 任 一 实 阵 可 以 正 交 相似 于 - -个 拟 上 三 角 阵 .很 明显 
复 特征 值 的 实 部 和 虚 部 容易 岂 2 乘 2 的 对 角 块 阵 获得 . 


7.4.2 Hessenberg QR 步 


现在 ,我 们 把 注意 力 转 移 到 怎样 加 速 计算 (7.4.1) 中 -- 个 简单 
QR 步 . 关 于 此 ,7.4.41) 中 最 大 的 缺点 是 每 步 都 须 进行 花费 
Of 次 运算 的 完全 QR 分 解 . 幸运 的 是 , 若 明 知 地 选取 正 交 阵 
Bo ,每 次 寺 代 的 工作 量 可 降低 一 个 数量 级 .特别 地 ,如果 UG AUS 
= Hy = (h; ) 是 上 Hessenberg F(A, =0.>7+1) ,那么 以 后 计算 
每 个 H, 只 需 O(n*) 次 运算 .为 说 这 点 , 当 H 是 上 Hessenberg 型 
Mat ,我 们 来 看 看 计算 H= QR MH, = RO. 如 5.2.4 节 所 述 ,我 
们 通过 a — 1 个 Givens 旋转 变换 :0TH 二 G1_1…GIH=R 可 以 
将 H 化 为 上 三 角 阵 ,这 里 G, = G(i,i+1,8). XT n =4 HE TE 
二 次 Givens LÆ: 
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OO S 
Y 
一 
X Co Oo — x 
© X X O X X X 


S < x of x x 
OO X X G X X x 
X X X X X X X X 
T X X X X X X X 
X X X X X X X x 


Ü 

参见 算法 5.2.3. 

计算 RO = R(GL…G,_1) 同 样 容 易 实 现 ,在 n = 4 时 作 三 次 
Givens 473 : 


T — x x SSeS x 
x x X C OX X 
x X Xx CO X X X 
X X X X X X X X 
= 
ox x x — — x X 
x x X X CO x X X 
x x X X X X X X 


0 0 
综 上 所 述 , 我 们 得 到 下 面 的 算法 : 
算法 7.4.1 do X H X n X n 上 Hessenberg I, WARE A 
H,=RQ & š H,3? H-QR # H MARSH. 
for: —1:n-1 
[c(&),s(&£)] = givens( H(k, k), H(k + 1,2)) 
clk) s]! 
H(k:ktl,h:n)- 2.) elk) H(b : & - lk: n) 
end 
fork =1l:in-1 
H(1:4+1,4:8@+4+1) 
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I k) sik 
= H:ks di (op 5 n] 


end 
4 G= Gk, k * 1,0, a k WK Givens 旋转 变换 .容易 断定 矩阵 
Q^ GG, | 是 上 Hessenberg. I£ ff, RQ = H, tit E Hessen- 
berg PE. X PRK EJ 6n? T flop, XX 3E IL (7.3. DP B] RARE 
QR 步 快 一 个 数量 级 . 

例 7.4.1 将 算法 7.4.1 应 用 于 


3 1 m 
H = : 2 35 
0.01 1J 


则 有 
0.6 -0.8 01 
G = 10.8 0.6 i 
o 0 1 
0 o 
Ga = |0 0.9996 -0.0249 
lO 0.0249 0.999 
和 


0. 3200 0.1856 — 2.1796). 
. 0000 0.0263 1.05401 


° 7600  — 2.5442 5.4653 
H,-— 


7.4.3 Hessenberg 阵 归 约 


接 下 来 要 说 明 的 是 如 何 计算 Hessenberg 分 解 
ULAU = H, UU, = I. (7.4.3) 
变换 阵 Ug 能 够 通过 计算 Householder HM Piee, P, `, Z ERU 
得 到 . P EE P, 的 作用 是 将 第 PUTEXKOUE IR ú UA FJ 763 8816 29 
F.E n=6 RNA 
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X X X X x 


| 


x 


Ü 0 0 x x 
后 ,我 们 计算 了 k ~ 1 + Householder EBE Pe. 


* 


IB A ~ 1 步 


P,- 1 使 得 


1 


£ — 1 


rg FE. 假设 


n — Ë 


P, ERA > 一 


“的 倍 量 


—— 


Ak — 1 列 是 一 个 上 Hessenbe 


;如果 P, = diag F, 


in -£ 
1 


PB 是 ë 


Householder R£ ;使 得 


— 


P) WA 


是 一 -个 前 列 为 上 Hessenberg HMR. SF £= 1: z 一 2 重复 此 
一 -过 程 ,我 们 得 到 
算法 7.4.2(Householder 约 化 矩阵 为 Hessenberg 型 ) 
给 定 AER”, FEAA AHE H= US AU 并 覆盖 A40, 其 中 
H X Lk Hessenberg E U, 是 Householder FE th RA 
for &=1lin-2 
[v, 8] = heuse( A(& +1: n, &)) 
A(k *1: n,b : n) — (I — Brel) ACR + 1: n,R : n) 
A(l: nk -1:n) = A(1: n, k + 1: nI- Bw") 
end . 
这 一 算法 需 1052/3 个 flop, 若 要 明显 形成 Uo, 需 附加 4073 个 
flop. Æ k 个 Householder 阵 可 存放 在 A (E +2: n, k) PF. KAIF 
情 , 请 见 Martin 和 Wilkinson( 19684 ). 
ft, A 为 Hessenberg Xx 4-75 Hz EP] p À D: 25 TERI I 489 AR 


X89. Wilkinson( 1965, 351 页 ) 指 出 计算 的 Hessenberg Ë H Wi E: 


H-Q(A*E)9.iXlB Q EZR I| EW r&n u l A l p, c WR 
小 的 常数 . 
例 7.4.2 Æ 


15 7 1 0 Ü 
A= |3 0 61, Uo= [Ü 0.6 0.8], 
4 3 1 0.8 -—U. 


1.00 8.60 -0.20 
Uj AU, = H = 15.00 4.96 —0.72|. 
.00 2.28 -3.9 


7.4.4 三 级 性 质 


Hessenberg 约 化 { 算 法 7.4.2) 有 大 量 的 2 级 运算 ;一 半 是 
gaxpys 校正 ,一 半 是 外 积 校正 .为 了 在 约 化 过 程 中 引入 3 级 计算 ， 
390 * 


我 们 简略 讨论 两 种 方法 ， 
第 一 种 方法 非常 直接 , 它 利 用 分 块 和 矩阵 约 化 为 分 块 Hessen- 
berg 型 . i (I iE dE E UL) n = rN Hid 


[^n nd r 

A = 

A Ao M — "F 
r nor 


假设 我 们 已 计算 A, QR 分 解 A = OIR H FE Q , E WY É 
式 . 也 就 是 说 ,我 们 有 W, Y CECO A=- WiYT( 参 
看 5.2.2 节 ). 若 Q = diag( r, , Q UI 
OTAQ, = " Ai Qi | 
UTI R, QiA»nQ, 
注意 到 只 要 i 是 WY 型 ,那么 修正 (1,2) 和 (2,.2) 块 就 有 大 量 的 
3 级 运算 ,Ci4C MRA ZAR 上 Hessenberg 型 .这 也 就 完全 演 
示 了 全 过 程 . 接着 我 们 重复 计算 QA 前 > 列 .在 六 -2 步 之 
后 ,我 们 获得 
Ay, Hy -- Ut Hw 
H) Hy `'. vt H;y 


Ü 0 >e Hw,x Hw 

其 中 每 个 OH, der xr BEA U = Gy Ow >. 每 个 Q, 都 是 WY X 
式 . 整个 算法 3 级 计算 所 占 比 例 为 1 一 OO(1AN). 

注意 到 H PRAM PHA, FRA F fe S p. 
除了 第 -- 条 次 对 角 线 之 外 都 可 以 用 Givens 旋转 变换 消 为 零 从 而 
约 化 H 为 一 个 真正 的 Hessenberg Xl. 

Dongarra, Hammarling 和 和 Sorensen{1987) 己 证 明 , 怎 样 混合 使 
用 gaxpy 算 法 和 3 级 修正 直接 的 化 Hessenberg 型 .他 们 的 思想 是 
当 每 个 Householder 变换 已 产生 后 ,只 需要 作 较 小 的 校正 .例如 , 设 
第 一 个 Householder 阵 P, 已 算出 ,为 得 到 P, 我 们 只 需要 PLAP) 
的 第 2 列 , 不 是 整个 外 积 修 正 .构造 P, RIDA P; P AP, P. 第 
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3 列 , 等 等 .用 这 个 方式 , 仅 需 用 gaxpy 运算 就 可 确定 Householder 
阵 ,而 不 涉及 任何 外 积 修 正 . 一 旦 有 了 适量 的 Householder [EE ,它们 
合 在 一 起 用 3 级 方式 去 进行 修正 . 


7.4.5 Hessenberg 矩阵 的 重要 性 质 


Hessenberg 分 解 不 是 惟 :的 .如 果 Z 是 任 on x n TE ZEEE 
们 应 用 算法 7.4.2 T ZAZ, W QTAQ =H 是 上 Hessenberg 阵 ， 
HE Q = ZU. 然而 ,Qel = Z Uge) = Ze, 3X Hos HE Q 的 第 ] 
列 是 指定 的 , 则 互 就 会 惟一 .实质 上 这 在 万 没有 零 次 对 角 元 素 时 
dT JW BJ. RA jx RP ERES Hessenberg 矩阵 称 为 不 可 约 的 . 
以 下 是 -:- 条 很 重要 的 定理 , 它 说 明了 Hessenberg 归 约 的 惟 -TE. 

定理 7.4.2( 隐 式 Q 定理 ) 假设 台 = [gl g,lfe V = 
[vj ct, v IDEE UE LER, E. OTAQ = H je VTAV = G 均 是 上 
Hessenberg 阵 ,这 里 A C US" A k X dE h k = O RE ES 
RA GRO] £9 BE A GE k = n. wA gp = vi. RA q = + u, B. 
I^; = [gii-1| i92:5. OBS Rn LED uius. 

WEAR EEZ W=[w,s u, = vV HERA GW 
= WH .通过 比较 这 -… 等 式 的 1 PS2: k), RAE 

hi yw; = Gu — 3M 
2-4 
由 <= er hi w, w ELEM. TE w= +I, (i,i)= 
+e,,2=2:k. Mw, = Vlg, Hl h, 4 = wiGw, 可 以 推出 v, = 
+ q, R. 

LS = | qiAgi-i | = | v JAV, 1 | = | iiid = 2:8, 

mR £ n, WI 
Gk+1.e 一 efi Ge, 一 er, GWe; = e£. 4 WHe, 


-= hi hae, = D haehae, = 0. !] 


隐 式 外 定理 的 要 骨 在 于 ， 如 果 Q'AQ = H WZ'AZz- G 两 个 都 是 
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不 可 约 的 上 Hessenberg FH, A Q 和 Z 第 一 列 相 同 ,那么 G AH 
是 “ 梧 质 上 相等 ", 即 G= D 'HD,K'P D=diag( t1, =, +1). 

我 们 下 一 个 定理 涉及 称 为 Krylov E EA — Fh 38 28 如 
RAER O Cin 354 Krylov HE K(A, v, p EROE 
为 

K(A,v,j) = [v Av, A 1v]. 
可 以 证 明 在 Hessenberg £j Q'AQ = H 和 Krylov MH K (A, 
QC: ,1), nÉ QR 分解 之 间 有 联系 . 

定理 7.4.3 RIK QCIR"" "JE GE X 3EFE E ACE" t, WJ 
Q'AQ- H Æ sJ 22 E Hessenberg MEY BRE QTK (A, 
QC,» ,n)-R3ESJ- B 2 L = RE. 

证 明 B Q C asss ESE H > H = Q'AQ.* ËR l F fH 
等 式 

Q'K(A,Q(:,),n) = lei, He "c, H^ ie] = R. 
如 果 H 是 不 可 约 的 上 Hessenberg £ ,那么 很 清楚 R 是 上 三 角 阵 
H ry —huhah;240,£72:n. H rad TA R ERAF. 

为 了 证 明 其 道 关系 也 成 立 , 设 R REL —Í8PRHÓEÉS SÉ. H 3 
RG,&+1)=HRC:,2), EH HC: b) € spanie,,,e;.1l. 
XX ES a H 是 上 Hessenberg BE. 由 于 ra = haha h, a- 1550, 
可 以 推出 H 是 不 可 约 的 . O 

这 梓 , 在 非 奇异 Krylov 阵 和 将 矩阵 归 化 为 不 果 约 的 Hessen- 
berg 阵 的 正 交 相似 变换 之 间 多 多 少 少 有 一 种 对 应 关系 . 我们 最 后 
一 个 结论 是 有 关 不 可 约 上 Hessenberg 阵 的 特征 值 问 题 . 

XEXB 7.4.4 如 果 A 2 SJ 22 E Hessenberg E HERY” 
& HE REE, RAE OIL ERA 1. 

证 明 HT H-A BERR n - 1 列 线性 无 关 , 对 任意 EC 
我 们 有 rank(A -Afen i. - g 


7.4.6 AEREE 


正如 Schur 分 解 有 相应 的 非 丁 Jordan 分 解 一 样 , Hessenberg 
a A2 * - 


Ar uL EC RV BJ dE cE RE. Se E HE Krylov 矩阵 K = 
KIA, z, mn ERR. 如 果 c — c(0: "Hc 1) E £E ^E 95 TESH Ke = 
-A'r ZF A AE AK = KC ,其 中 


0 O 0 -c 
1 Om 0 -c 

C=/0 1 0 -o (7.4.4) 
0 O 1 =e 


矩阵 C 称 为 友 阵 , 由 于 
det(zl — C) = cot cyz t = + cu az" l + z", 

A] LAGE X K 非 奇异 ,那么 分 解 K AK -= C WAR A 的 特征 多 
项 式 .这 一 性质 以 及 CRM T su ik Sp Sir T ur mH SURE AE 
Arve” LX S IR REGOLE: 

。 计算 Hessenberg 分 解 UJ AUS = H 

。 和 希望 H RTHHAY =e), Her, H e]. 

- 由 方程 YC= HY Bic. 
不 幸好 是 ,这样 计算 非常 不 稳定 . 仅 当 是 的 每 个 特征 值 的 几何 重 
数 都 为 1 时 ,4 才 相 似 于 不 可 约 的 Hessenberg 阵 . 具有 这 种 性 质 
的 拖 阵 称 为 非 减 阶 第 阵 . 可 以 得 知 , 当 4 靠近 减 阶 阵 时 ,上 述 抑 阵 
Y 的 荣 件 可 能 很 差 . 

关于 友 阵 计算 危险 性 的 完整 讨论 ,可 见 Wilkinson (1965, M 
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7.4.7 用 Gauss 变换 进行 Hessenberg 归 约 


5 53€ 11 E YE TT IE RI 3E E 2 E fROHE ER W IH Z9 22 Hessenberg 
39 ,我 们 应 该 指出 也 可 用 Gauss 变换 取代 算法 了 .4.2 中 的 House- 
holder SiRF. 特别 地 ,假设 置换 Ip... LEE, VI Gauss 变换 MT,… 
M, EL EE HARE UE E IE 
(M, IE |M III ACM, IR MH)! = B, 
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其 中 
Bu Bi Bisl ek —-1 
o |Buy Ba Ba| | 
Ü Bx Bal n -k 
k-1 1 n-k 
的 前 名 一 1 列 是 上 Hessenberg PE . BI hE — SRA n-k BR 
MT, 使 得 开 .Byy 的 第 一 个 毛 素 绝对 值 最 大 . 这 就 有 可 能 确定 一 个 
稳定 的 秩 也 为 n-k 的 Gauss 变换 M, = E— nel 使 Mi LB) B 
除 第 - :个 元 素 外 均 为 霍 . 定 义 IK, = diagC E, , IL, ) Rl M, = diag(I, , 
M,) ,我 们 看 到 
(MI, --- M (If, )ACM,H,:- M,IT,) ! 
[By B Bi; Hi M; 
= B; B B; HiM,! 
0 M,ILB; M,ILB;II; M; 
的 前 有 列 是 上 Hessenberg EE. H: BEIM, 1 — I+ eel, BA thet 
程 只 是 -- 些 很 简单 的 秩 1 校正 . 

让 真 统计 即 知 Gauss 变换 化 为 Hessenberg 型 只 需 Household- 
er 方法 一 半 的 计算 量 , 然而 ,与 判 选 主 高 斯 消去 法 一 样 ,数据 增长 
可 能 达到 27 倍 ( 虽 然 少见 ) BL Businger( 1969). HI Gauss Ñ EMA 
一 国难 是 ,特征 值 的 条 件数 ( 即 s(4) 站 在 非 正 交 相 似 变换 中 并 非 
READ OER SAT SBR. 

习 题 

7.4.1 RAER ASE" ,请 给 出 一 个 详细 算法 来 计算 正 交 阵 妃 使 
得 Q'AQ 是 上 Hessenberg FA O's Be, 的 倍 基 .( 揭 示 : 先 化 xz, 然后 应 用 
TEE 7.4.2.) 

7.4.2. 详 述 用 Gauss "ER 4E 5p BE Hessenberg 地 的 整个 过 程 并 证 明 它 
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PIT PP 


AG 5213/3 个 flop. 

7.4.8. 在 -: 些 情形 ,有 必要 针对 许多 不 同 的 IC OE b C > 的 值 求解 
线性 方程 组 (4 + oF) = b. 说明 用 Hessenberg 分 解 能 有 效 晶 稳定 地 解决 此 
问题 . 

7.4.4 E -个 显 式 计算 算法 了 .4.2 中 矩阵 Uo WAAR PEP 
RAH Uo Mm. 

7.4.8 Wk HC z" Rau £g E Hessenberg E, GARE -对 前 阵 D 
i$ D `! HD 的 每 个 次 对 角 线 元 都 等 于 1. ( DIB v? 

7.4.6 ib W, YC”, HE WER C ABH 

C=W+iY, B= M wl 
Y W 
证 明 如 果 AC AC AR MACACB) FRAN ER. 


TE! 


7.4.7 设 4=| ”| 是 实 短 阵 ,有 特征 值 t iu JEEP y APE Ht 
¥ X 


一 不 算法 求 出 cc 一 cos(9) 和 ;二 sin( 0) 使得. 


1 


LU ALS def al 
其 中 of = — e. 


7.4.8 alc) E Hessenberg @ H € j^^ AI -O APPEL PEGE 
Bp BU -AREAZSH SESE P eis 
A wl 
PIHP = | |: 
ü H, 
其 中 H Eg Xt UR E Hessenberg I. P W 3 Givens YELAR. 
7.4.9 iE HC hn” "下 带宽 为 p, 说 明 怎 样 计算 Q € =” * (Givens 旋转 
之 乘积 ), 体 得 GAG 是 上 Hessenberg Fc. Se P. Et? 
7.4.10 WE £E C EAA EEE A A, 的 友 阵 ,如 
VCV !-diag(A,,--,A,), rp 


1 Ay nee aq! 
ve fp | 
1 À, oc Ax! 


= 
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实 的 Schur 分 解 最 初出 现在 

F. D. Murnaghan and A. Wintner( 1931). " A Canonical Form for Real Matrices Under Or- 
thaeonal Transformations, Proc. Nat. Acad. Sci. 17 ,417— 420. 

Wilkinson( 1965, 58 A 3 h f 460 Hessenberg SI 80 TE š] Jr š. Householder PF 

法 和 Gauss 方法 的 Algol 程序 可 见 : 

E. S. Martin and J. H. Wilkinson( 1968). “Similarity Reduction of a General Matrix to Hes- 
senberg Form, " Numer. Math . 12,349— 368. See also Wilkinson and Reinscki( 1971 , pp. 
330—358). 

LESHER Ago 程序 之 Fortran 版 本 在 Eispack ## FF EP. Givens 变换 也 被 用 

于 计算 Hessenberg 分 解 , 见 : 

W.Rath( 1982}. “Fast Givens Rotations for Orthogonal Similarity,” Naser. Math. 4it, 
47—56. 

Hessenberg 1E frg e TE BETIS E 

J.J. Dongarra, L. Kaufman, and 5. Hammarling( 1986). “Squeezing the Most Out of Eigen- 
value Solvers on High Períormance Computers,” Lin. Aig. and Its Applic. 77, 113— 
136. 

J.J. Dongarra, S. Hammarling, and D. C. Sorensen( 1989). “Block Reduction of Matrices to 
Condensed Forms for Eigenvalue Computations, "JACM 27 ,215—227. 

M. W. Berry, J.J. Dongarra, and Y¥.Kim( 1995}. " A Parallel Algorithm for the Reduction of 
a Nonsymmettric Matrix to Block Upper Hessenberg Form,” Parallel! Computing 21, 
1185—1211. 

中 讨论 到 .Gauss 变换 方法 指数 增长 的 可 能 性 在 

P. Businger( 1969). “Reducing a Matrix to Hessenberg Form,” Math. Comp. 23, 819— 
821. 

HERRE. Am, RIERA EOS n e iE ARBRE , 它 在 实际 中 是 

稳定 的 , 见 Eispack, 56 - 58 页， 

di 2630 UE PERI Hessenberg 分 解 之 讨论 可 见 : 

L. S. Duff and J. K. Reid( 1975). "On the Reduction of Sparse Matrices to Condensed Forms 

by Similarity Transformations, "J. Inst . Math. Applic. 15,217—224. 
EURIBOR oy 24 E. Hessenberg 阵 的 特征 值 , 就 可 用 Givens 2536 35 X X7 Ay ££, F A s 

一 个 元 素 化 为 零 . W. 

P. A. Businger( 1971). "Nuraerically Stable Deflation of Hessenberg and Symmetric Tridiag- 
onal Matrices, BITI! ,262—270. 


有 关 Hessenberg 型 的 ” 些 有 趣 数 学 性 质 ,可 在 下 立 中 找到; 

B. N. Parlett ( 1967). “Canonical Decomposition of Hessenberg Matrices,” Math. Comp. 
21,223—227. 

Y [kebe( 1979). “On [nverses of Hessenberg Matrices,” Lin Alg. and Hs Applic. 24, 
93—47. 

尽管 Hessenberg 分 解 更 人 程度 上 被 人 们 看 作 QR AA 89 RTA E ERE 

问题 上 相对 于 较 昂 和 贵 的 Schur 分 和 解 米 说 园 恒 宜 而 逐 浙 流行 起 来 .在 许 才 左 用 中 已 证 上 明 

ETS AB HSA 

W. Enrisht( 1979) "On the Efficient and Relioble Numerical Solution of largetinear Systems 
of O. D. E. S. "IEEE Trans. Auto. Cam. AC-24 , 905—908. 

G. H. Golub, S. Nash and C. Van Loan( 1979), " A Hessenberg-Sehur Method for the Frob- 
lem AX + XA = C," IEEE Trans. Auto. Contr. AC-24 ,909—913 

A.Laub (1981). "Efficient Multivariable Frequency Response Computations,” IEEE 
Trans. Auto. Cont. AC-26 .407—408. 

C. C. Paige( 1981). “Properties of Numerical Algorithms Related to Computing Controllabili- 
ty, "IEEE Trans. Auto. Cont. AC-26 ,130—138. 

G. Miminis and C. C. Paige 1982). “An Algorithm for Pole Assignment of Time [nvariant 
Linear Systems,” International J. of Control 35 ,341—354. 

C. Van Loan( 19822. "Using the Hessenberg Decomposition in Control Theory, "in Algo- 
rithms and Theory in filtering and Control ,D. C. Sorensen and R. J. Wetst eds), Mathe- 
matical Programming Study No. 18, North Holland, Amsterdam, pp. 102—111 . 

TR 3 Tñ zi SR A [u] 88 PB EE E dS By FEL SIE uj DL; 

K.-C. Toh and L. N. Trefethen( 1994). "Pseudozeroe of Polynomials and Pseudospectra of 
Companion Matrices, " Numer. Marth. 68 ,403-—425. 

A. Edelman and H. Murakami( 1995). “Polynotmal Roots from Companion Matrix Eigenval- 
ues," Math. Comp. 64 ,763— t. 


$7.5 实用 QR 算法 


我 们 重新 讨论 Hessenberg QR EA, KESIR: 
H= UjAU, (Hessenberg 归 化 ) 
for R—1,2,« 
H = UR (QR 分 解 ) (7.5.1) 
H=RU 


end 
dmi rxHAB8liÉfB SH E fe oe) gs — A A e Gi BH 7g 
TA eae” RT DR ie ess BE. 


7.5.1 BERT 


不 失 一 般 性 ,我 们 可 以 假定 (7.5.,1) 中 每 个 Hessenberg 阵 H 
都 是 不 可 约 的 .否则 的 话 , 在 某 一 步 我 们 有 
_ i Ma 
0 H»-n-p 
p n p 
其 中 lsp n, TEARI RR ERAT Ay 和 万 2 的 小 问 
题 . 关 于 这 一 点 ,我 们 也 用 “ 降 阶 "这 一 术语 ,在 p=n~1l 或 n -2 
ED AS Ay AE. 
AEE, HR H ARE A sc 3E a 2 ^] BJ J RE, EE TA 
看 .例如 ,在 Eispack 中 ,如 果 
| Resp |S cu(| App | + [hpr psl ) ， (7.5.2) 
cA) RR, MIE 六 六 断定 "为 零 .这 样 苦 是 合理 的 ,因为 在 整 
个 矩阵 中 早已 有 了 ul H | BRS ARE. 


7.5.2 带 位 移 QR IAT 


令 un € & SBME: 

H = UAU, — (Hessenberg 化 简 ) 

for £ = 1,2,-- 
决定 标量 u 
H — wi = UR (QR 2f) (7.5.3) 
H = RU + UI 

end 

标量 £ 称 为 位 移 .(7.5.3) 中 产生 的 每 个 第 阵 相似 于 ALBIS 
RU + wl = U'(UR + zl) = U! HU 


如 果 我 们 将 A RHEL A, 排序 使 得 


" 408 - 


 —— — —c s... PP — —— 


JA, — pl een lA, cg]. 
H Ap BRE PAE AEBS S 7.3 中 的 理论 表明 H 中 的 第 


praca RR 26 T ET 0. mR 和 = 


Ap+y MEEA KS. E, 比方 说 ,如 果 < HEU T GET RECS GR 
A, BAUGH (nn - DARKENS. W O E FTA FE 
BB. 

定理 7.5.1 4 n XUL 2 Hessenberg E H itte, te 
XH - RU + wl kB H - uE = UR X H - ul 的 QR 2 8E, AZ 
ha n-15=0 BA. p. 

证 明 AY H AT Hesserberg 阵 ,不 论 p (HA t], H 一 
ul 的 前 n 一 1 # E 2k PEDO. 这样, 如果 UR = (H — aI) XE QR 
分 解 ,那么 ,天 夫人 0 一 1 一 于 但 是 ,如 果 百 -奇异 , 则 ii … 
ron 70. Fr, 70 A H(n, i) 7 [0,777.04]. B 
定理 表明 ,如 果 用 特征 值 作 位 移 , 一 步 迁 代 就 能 将 矩阵 降价 ， 

例 7.5.1 wR 


9 一 1 一 之 | 
H = 2 6 E 
1 5 


则 GEACH), wR UR-H-61I 2 QR Z,WH-RU-*61 为 
8.5384 - 3.7313  - 1.0090 
Ë = vae 5.4615 E 
.0000 0.0000 . 6.0000 


7.5.3 Hub bre Re 


MELLRE BEERE Pr BE BAKI AR NS BS 
AX ACA YU fe BLUE u 值 ，- 种 实用 方案 是 认为 ,为 沿 对 
角 线 的 最 佳 近似 特征 值 .如 果 在 每 次 迁 代 都 用 此 量 作 为 位 移 , 我 们 
就 得 到 单 步 位 称 QR ERE: 


er r rr sI 
raa n 


for & = 1,2,°°- 


w= H(n,.n) 
H- ul = UR (QR 分 解 ) (7.5.4) 
H = RU + pl 

end 


ül (n.n — 1) 56 # k S2 0, WI| H: 98 HER RE RS LXI. 为 
看 这 一 点 ,我 们 借用 Stewart{1973,366 页 ) 的 一 -个 例子 .假设 十 是 
如 下 不 可 约 的 上 Hessenberg 阵 : 


i x x x x | 
x X X X Xj 
H= 0 x x x x 
0 O0 x xX x 
0 0 O0 = h. 


且 我 们 执行 一 步 单 步 位 移 QR 算法 : UR = H — hd, H = RU + 
h, Bitte H- h, J 为 上 三 角 者 的 n -2 步 后 ,我 位 获得 具有 如 
下 结构 的 矩阵 : | 


x x Xx x x 
0 x X x X 
H= |Ù 0 x x x 
0 0 (Ü a b 
0 0 0 = 9 


不 难 证 明 吾 = RU +h, 1 PB (n.n - DALRA -eble + 
a^). 如 果 我 们 假定 <a , 则 很 清楚 新 的 (n,n 一 1) 元 素 之 量 级 为 
et ,这 怡 是 我 们 对 一 个 二 次 收 化 算法 所 期 待 的 . 


@J7.5.2 IR 
1 2 3 
ne 5 i 
0.001 7 


B. UR-H-71 X QR 8 .3RZ H = RU +7?I 为 
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“a — r 


— 0.5384 1.6908 0.8351 
Hz | 0.3076 6.5264 - 6.6555). 
0.0000 2x105 7.0119 
像 以 上 的 接近 最 佳 位 移 几乎 总 能 保证 上, ;_1 较 小 .然而 ,这 只 是 一 
个 直观 经 验 , 有 例子 表明 即使 oml H- pu, Ahn n A 
£ X 694p MC. 


7.5.4 双 位 移 策略 


TEE, EARI 
= [7 lud m=n-l (7.5.5) 
ham Pan 
的 两 特征 值 cj Ma, 为 复数 时 , 则 Aay ERE 4 4B MB F (LE 
值 . 这 时 ,(7.5.4) 有 麻烦 就 是 意料 之 中 。 
线 过 该 困难 的 途径 是 ,逐次 应 用 a, 和 ay 作 位 移 莉 进行 两 次 
单 步 位 移 QR IE: 
H —a,I— UR, 
H i= R,U, + ail, (7.5.6) 
H,-a;I- U;R;, 
H.- R-U- ta, 
由 这 些 等 式 可 推 得 
(UUR; R) = M, (7.5.7) 
其 中 M 定义 为 ; 
M — (H — a,IDCH —- asl). (7.5.8) 
注意 到 即使 G 的 特征 值 为 复数 ,M 也 是 实 阵 ,这 是 因为 
M = H? — 53H +I 
其 中 satai Amm + Ah, 7 trace( G)C IS. H 
t = avas = Ryman — Adam = det(G) € y 
这 样 ,(7.5.7) 是 一 个 实 矩阵 的 QR 分 解 且 我 们 可 选择 D, 和 U, 
使 得 Z= U1U 是 实 正 交 阵 - TË, 
Z^ TE 


H.= USH,U; = Us (Uy HU) U, 
= (U,U,)"HCU,|U2) = Z! HZ 
EIR EHE. 
FRERE, AGE SEULS BBB IE H, 回 到 实数 域 . AH, 
为 实 阵 得 到 保证 , 则 只 要 : 
` HES th RM M — H? -H+ 
。 计 算 M = ZR 的 实 QR 分 解 , 且 
` + H,= Z'HZ 
但 由 于 第 一 步 需 O(n?) flop, 故 这 并 非 是 实用 的 . 


7.5.5 MEKE k 


幸运 地 是 借助 于 7.4.5 a Rash Q EM, RIPE H i 
Oln?) flop 3E 3c M fz BE. A, RR TR LP zb 
又 , 则 只 需 On?) flop 就 能 实现 H 到 HH; 的 转变 . 

。 计 算 Me) , B] M. 的 第 一 列 

* 确定 Householder 矩阵 Po 使 得 Po( Me, pE e, BO fe 3 

* 计算 Householder HM P), P,- f 78 OR Z, = PoP 

P, -2:354 Z{ HZ, 是 上 Hessenberg EE H. Z MZ, 的 前 一 列 
相同 

在 这 些 情 况 下 , 隐 式 外 定 理 允 许 我 们 得 出 结论 .如 果 ZTHZ 
#07) HZ, 均 是 不 可 约 的 上 Hessenberg RACHA EAS. 
注意 到 如 果 这 些 Hessenberg 5B [E Jf-3EA nf 29, ABS FRAT n] ELE TT 
解 看 ,然后 就 处 理 较 小 的 子 问题 . 

让 我 们 来 进行 仔细 推导 .首先 注意 到 Py 只 需 O(1) 运 算 量 就 
能 求 出 ,这 是 因为 Me =[z,y, 20 "01, 其 中 

x= At, + haha 一 shu tt, 
y= halhy t h> ~ s), 
z= hyh, 
由 于 相似 变换 Po 只 是 改变 1.2,3 行 和 1,2,3 列 ,我 们 看 到 
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x X X 


> 


0 0 60 


, P, `, Z E25 JEFE ICA Pe BK EE LE. 


现在 Householder 5& Ek P, , --- 


Hessenberg FE. 计算 过 程 如 下 - 


X x X X X 
X x 
x x X 
X 
x 
x 


0 0 0 0 


x x x X x X 
x X X X X X 
x x x X x X 
x x X x xX x 
0 0 0 x x x 
0 0 0 0 x x 


0 


X 


x 


0 0 0 0 x xi 


很 明显 , P, BUE LS P, = diag( I,, PL,I, 4, 3), HPP, #33 


的 Householder XE RE. 例如: 
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= 

T > — — > 
X 

X x x cc 


:0 
lo 0 0 1 
注意 到 P,_; 例 外 ,因为 P, 5 = diag( L, o. P, 2). 
通过 观察 Pie1 = 61,8 —1:n -2 及 Po fll Z 有 相同 的 第 一 列 ， 
BRAN RT hz HAE BE 7.4.2( 隐 式 QR 定理 ) .因此 ,Ziel= Ze ART 
能 断定 只 要 上 Hessenberg 阵 ZTHZ $1 ZI HZ, 均 不 可 约 则 Z, 和 
Z 本质 上 相等 . 
M. H Bashi H, 首先 是 Francis(1961) 提 出 的 ,我 们 称 之 为 
Francis QR 步 . 完整 的 Francis 步 归 纳 如 下 ， 
算法 7.5.1(Francis QR 步 ) 结 定 不 可 约 的 上 Hessenberg £ 
HOR" C8 RAG 2X2 + MARAE a, 和 a2, 本 算法 计算 
ZHZ HBAH UE Z= Py P, 55 — 5] Householder M4) A 
REA ZH -a,ID(H - a; D X E Z A. 
m-—n-l 
GFA{(H — a D)CH ~ a27) 的 第 一 列 | 
s=H(m,m)+ HH n,n) 
t=H(m,m)H(n,n)—Him,njdHla,m) 
r=H(1,1)H(1,1)+H(1,2)H(2,1)-sH(1,1)+# 
y=H(2,1)(H(1,1)+ H(Q,2) — s) 
z = H(2,1) H(3,2) 
for k =0in-3 
Lv. B] =house([ x yz ]') 
q^maxil,£l. 
H(k*Y:k t3,q:n) —- (I - Bev! ) (k - E ^ 3,q:n) 
r=minjz+4,7| 
H(1:r,Ë+1:k+3)= H(lir,k t 1k - 3)(I — Boo") 
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CO x X x — G 
D — Oo fo = 


= 
= 
=k 


r=H(Ë+2,Ë t i) 
yz H(k t3, k +1) 
if £«»n-3 
zg=Hle+4,e£+1) 
end 
end 
[v,8]- house([ z y]! ) 
H(n—Va,n -2:n) - (I Boo )H(n —1:2 ,n 2: n) 
H(l:n,n-1:n)- H(l:n,n- En)CI — Bu!) 
这 一 算法 需 10a? flop, mR Z 显 式 计算 成 一 个 正 交 阵 , 刚 还 
需 额 外 102? 个 flop. 


7.5.6 完整 计算 过 程 


运用 算法 7.4.2 £915 A 为 Hessenberg 型 ,然后 用 算法 7.5.1 
进行 选 代 产生 一 个 实 Schur 型 是 解决 稠密 的 非 对 称 和 矩阵 特征 问题 
的 标准 手段 .在 多 代 过 程 中 必须 监视 H 的 次 对 角 元 素 以 便 发 现任 
何 可 能 的 解 看 .下 面 算法 具体 演示 了 如 何 实现 这 一 点 : 

$5 7.5.2(QR EIE) BEAM ACH” feig AAR 
券 大 的 刀 许 误差 tol, 本 算法 计算 实 Schur 分 解 QT AQ = T. A 用 
Hessenberg 7# MAS .如果 需要 求 出 癌 PT, AA TRAM P. 


` 如 果 只 是 需求 特征 值 , 则 了 的 对 角 块 存在 百 中 相应 位 置 . 


用 算法 7.4.2 米 计算 Hessenberg 13 25 
H = UlAU, 
其 中 U, = PeP,- REG AMER O=P\ P. -2, 864 
5.1.6 F. 
until g =” 
令 所 有 满足 
Jail tol( hi 十 |) 
的 次 对 角 元 素 为 0, 找到 最 大 的 非 负 g 和 最 小 的 非 负 思 使 得 
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Ay H Ml p 
Ü H. H; n- p> gq 
LD Ü Ha Q 
p n-p-q q 
这 里 HH33 是 拟 上 三 角 阵 且 H; ARTA. GER: p Req 
TAE). 
证 g&n 
对 Hati — Francis QR # : Hy = Z' HZ 
if 需求 Q 
Q = Qdiag(I,,Z,1,) 
Hoy = HoZ 
H; = Z* Hy, 
end 


end 
end 
4H PA EAA RH 2X2 88 E 8 M dt. 3 LER de 
so NUR IEEE HE AB LAB E 
如 果 需 计算 Q AT ULAR 25»? + flop, fn 5E £136 A HE, WI 
8$ 10n° 个 flop. ix J& flop 数 是 很 粗 的 合计 ,它们 是 基于 这 样 的 直 
观 经 验 :平均 每 司 一 次 低 阶 的 LX 1 3€ 2x 2 PB ERU IUSSI 
Francis iX fX. 
例 7.5.3 dX E 7.5.2 应 用 到 
3 4 5 


> ID + LP 


C ow 
hoch 
一 wy oh 


LO 
AB Z xj J Z Ay 2 F MK Ak 


= 
= 
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LL 
x O(haD Ohal Oda) OCA D 


l 10? Lo" 10° 10" 
2 10" 10" i0° 10° 
3 10° 10° 107! 10° 
4 10° 10° 1077 10 3 
5 1)? 10° ia `Š 1074 
6 ID 1 10° 10 !2 1078 
7 107! La? io * 10 P 
8 i07? 10° Wr sete We d 
9 10-* 10° 

10 10-5 10? 

11 1071 ia” 

12 10 7 10° 

13 Wi at U 58 


QR 算法 的 含 人 人 性质 是 人 们 使 用 任何 正 交 技术 所 期 料 的 ， 
计算 得 到 的 实 Schur 型 全 正 交 相似 于 靠近 4 的 矩阵 BU 
Q'(A + E)Q = T. 
其 中 gTQ- EH I E lu ll A Fa RBM QILF REX 
的 ,这 是 因为 @TQ@ - r+ FHP | F loma. 


的 特征 值 顺序 多 少 有 点 任意 ,但 正如 我 们 在 37.6 中 所 述 ， 
利用 互 澳 两 个 相 邻 对 角 元 素 的 方法 ,就 可 获得 任意 排序 . 


7.5.7 平衡 


最 后 ,我 们 应 注意 到 ,如 果 A 的 元 素 的 数量 级 变化 很 大 , 则 在 
应 用 QR 算法 之 前 ,应 对 A 进行 平衡 . 这 需要 O(n ) 次 运算 来 计 
算 对 第 阵 D 使 得 老 
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— a ...................................... 
SP a ee | 


[EDI 
DAD = [c.c] = 


P 
MM || =; < == | C, le i= lin. WAE D W E 8 XD = 
diag f'e 8") Rh 8 BPP ABM ER UR D AD 就 
可 以 没有 倪 人 误差 . 4A 被 平衡 后 ,计算 的 特征 值 常常 会 更 精确 . 
参看 Parlett 和 Reinsch( 1969}. 


J @ 


7.5.4 证 明 , 苦 百 = THO 是 用 五 -| “| 执行 一 单位 称 QR 步 而 
y x 


获得 的 , 则 | ha | E ed EC z)2 + y? ]. 
7.5.2. 给 出 求 2x2 XI DOR oD 使 得 上 D ADI ;最 
ip Xr A =|“ "|. 
M x 
7.5.3 TAS QR Jb H — pl= UR ,H= RU + ul 是 怎样 隐 式 执 
行 的 . BIG BHO FLA, H BU APR e SEE H| H 的 变换 是 怎样 进行 的 . 
7.5.4 i H BE Hessenberg 阵 且 我 们 用 列 选 主 元 的 Gauss 消去 法 计算 
:分解 PH = LU.{ 见 算法 4.3.3) 证 明 : 政 ,= U( P'L) EE Hessenberg PE H+H 
WF H. (RBI LR 算法 的 基础 .) 
7.5.5 WE: H = Hy E AR H, -at= UR, H,. = RU, 
+ pad FOE A, , Wi] 
CU UCR, Ry) = CH ~ pu IY (H — 1). 


本 市 注释 与 参考 文献 


实用 OR 算法 的 发 展 起 始 填 下面 这 篇 重要 论文 
H. Rotishauser (19583. “Solution of Figenvave Problems with the LR Transformation,” 
Nat. Bur. Stand. App. Math. Ser. 49 ,47—81. 
FRG, EXER A iE se ik”, BL. 
I.G. F. Francis(1961}, "The QR Transformation; A Unitary Analogue to the LE Transfor- 
mation, Parts | and []" Comp. J. 4,265-—272,332—345. 
关 士 实用 OR 算法 的 论 还 可 更 Wilkinson (1965) 和 Stewart (1973), 及 Watkins 
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(19912, thay X: 

D. Watkins and L. Elsner 1991). "Chasing Algorithms for the Eigenvalue Problem, "SLAM 
J. Matriz Anal. Appl. 12 ,374-—384. 

D. S. Watkins and L. Elsner( 1991). “Convergence of Algonthms of Decomposition: Type for 

` the Eigenvalue Problem, " Liz. Alg. and its Application 143 , 10-47. 

J. Erxiong(1992) . "A Note on the Double-Shift QL Algorithm,” Lin. Alg. and dis Appl- 
cation 171 ,121—132. 

LR HI QR 方法 的 Algol 程序 见 : 

E. S. Martin and J. H. Wilkinson( 19685. "The Modified LR Algorithm for Complex Hessen- 
berg Matrices,” Numer. Mash. 12, 369—376. 也 FY L Wilkinson and Reinsch (1971, 
396—403 DL). 

R.S. Martin, G. Peters, and J. H. Wilkinson( 1970} “The QR Algorithm for Real Hessen- 
berg Matrices,” Numer. Math. 14, 219—231. 也 可 见 Wilkinson and Reinsch (1971, 
359—371 m). 

Ax Sh BH Fhe Mie SU : 

E. E. Osborne( 1960) . "On Preconditioning of Matrices, "JACM 7 ,338—345. 

B. N. Parlett and C. Reinsch( 1969). "Balancing a Matrix for Calculation of Eigenvalues and 
Eigenvectors, " Numer. Math. 13, 292—304. E FT SL Wilkinson and Reinsch (1971, 
315—326 m 5. 

商 性 能 特征 值 求解 的 论文 包括 ; 

Z. Bai and J. W. Demmel(1989}. “On a Block Implementation of Hessenherg Mulushift QR 
Iteration," Int'£ J af High. Speed Comput. 1,97—112. 

G. Shroff(1991). "A Parallel Algorithm for the Eigenvalues and Eigenvectors of a General 
Complex Matrix, " Numer. Math. 58 ,779-—806. 

R.A. Van De Geijn( 1993). “Deferred Shifting Schemes for Parallel QR Methods, " SIAM 
J. Matrix Anal . Appt . 14 ,180—194. 

A. A. Dubrulle and G. H. Golub( 1994) . ^ A Multishift QR Iteration Without Computation of 
the Shifts, " Numerical Algorithms 7,173—181. 


$7.6 不 变 子 空间 计算 


—H 5 Schur A Q'AQ = 了 已 算出 ,用 个 重要 的 不 变 子 空 
间 问 题 就 能 解决 .本 节 我 们 讨论 如 何 
* 计算 与 414) 的 某 个 于 集 所 对 应 的 特征 问 量 
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* 计算 给 定 不 变 子 空间 的 正 交 基 

* 用 让 态 相 似 变换 将 A 块 对 角 化 

" 计算 特征 问 量 的 一 组 基 ( 不 管 它们 的 条 件 ) ,以 及 

* 计算 A 的 相似 Jorden 标准 型 
稀 航 惩 阵 特征 回 量 和 不 变 子 空间 的 计算 在 别处 讨论 ,参看 $7.3 
以 及 第 信 章 和 第 九 章 的 部 分 章节 ， 


7.6.1 由 逆 选 代 计 算 选 定 的 特征 向 量 


A qO ccn 是 给 定 的 2 范 数 下 单位 向 量 并 设 A — ph Ein? 
dE at. PIE EE REOS E fA: 


fo &-1,2,- 
BECA 一 pz = gU 
qP =] | 25? | (7.6.1) 
AU = gT Ag 

end 


Wize M RSICA -eD EROS AE. 
为 了 分 析 (7.6.1) 的 表现 , 设 A 有 -- 组 特征 向 量 基 | x ,…， 
x, AI i=1:n, Ar, —AQ ADR 


q” = 2 Bri, 
MJ q ORADE, 其 方向 为 
SO L S Be 
(A pl) q > GO 


显然 ,如 果 pg ECCE CE AR SE SEXE a; WERE 8,00, aq? S I 
问 的 成 分 就 非常 多 . 
(7.6.1) 终 止 条 件 的 例子 是 只 要 余 量 Ñ — (A 一 pI)q'* 满 
是 
| £P d mmn || A tlc (7.6.2) 
Paik, Abc 是 量 组 为 1 的 常数 .由 于 
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i ————— a ull ul... pp we P 


(A+ E,)q? = pq” 


其 中 E,= -rtg (9 ,可 知 (7.6.2) 使 得 nw 和 gt*! 是 邻近 矩阵 的 
精确 特征 对 . 

ROA AS QR 算法 一 起 用 : 

"计算 Hessenberg 分 解 UL AU, = H 

-ARARIZ Francis AAT H ( = RARER) 

* 已 求 得 特征 值 和, 丛 找 相应 特征 向 量 了 ,应 用 (7.6.1) A 

A=H pHa, FE-PE z=, 使 得 Wee pe 

-A r= Uor 
H BEREI EF AY ALTA (1) TEX. Francis HAR H 
AITANA AREAN: (2) 我 们 只 需 Oln A flop 就 能 得 到 

— AI 的 分 解 矩 阵 .是 (3 一般 只 需 一 :次 夺 代 就 能 产生 … 个 足 名 
hubs S 

xX Rta — S UL Vi di UR fi RH, BL E fI E RE HH, 
I A DAR A. 条 件 坏 , 它 可 能 相当 不 精确 , 为 简单 起 见 , 设 4 为 实 
A 

H-À = D sus, = - UXV! 

RH-A P SVD, A 7.5.6 小 节 中 我 们 所 讲 过 的 QR 算法 舍 人 性 
质 知 ,存在 一 个 和牛 阵 EC! UE HY E-A ARH EI; 
lE ita. 可 以 得 出 osuo E. | CH — AI), | ?;7:uc,,B] v, 是 好 
BRUT {ARF AE [6] Fe AR P, RR J ba g BK 


C 
gi — >` Yat, 
r—] 


WO = >) s RARE” o, 方向 的 成 分 . 注意, 如果 s G0 


r=1 了 
[ron {小 , 则 2 OE uu 方向 二 严重 缺少 .这 解释 了 ( 任 经 验 )? 为 什 
入 再 来 一 步 首选 代 不 大 可 能 产生 更 好 的 近似 特征 向 量 , 当 是 坏 
条 件 时 尤为 如 此 . Sx En ETE HE Peters 和 Wilkinson(1979). 
+ 42] : 


例 7.6.1 4B 


| d 
A= "m ] 
A EIS A, = 0.99999 Fo 1, — 1.00001, B 48M it E 209 x, = 
[1, — 10 ?]T, æ; = (1,10 ?]T. 两 个 特征 值 的 条 件数 均 为 105 数 
SR TWH uo 149 A c E 的 特征 值 ,其 中 
r 0 0 
E = | 10-9 Ni 
这 样 , 当 用 10 EFRR, 65 48 R x B| QR 算法 计算 特征 
值 典 型 的 精度 . 
to R(7.6.1) Pts 3 qg” =[0,1]7, 8 gU? —[1,0]T E 
| Ag’? — pg? lo 10779, Rn, ape FE g — (0,1, 
l| Ag’? — po || ; 21, 36 49 Æ Peters 和 Wilkinson( 1979) 4 F 34 
7.6.2 在 实 Schur 型 中 对 特征 值 进行 排序 


再 次 指出 , 实 Schur 分 解 给 出 不 变 子 空间 的 信息 .如 果 
T . (Tu Tejp 
€ AQ =T= K aa 
P oq 
HATNA Ta) =O BBA Q WA p 59K nS, - T 5SACUT A 
对 应 的 惟一 不 变 子 空间 (看 7 了 .1.4 52. B fÉ, Francis 3E fo HE B 
了 我 们 一 个 在 对 角 线 Ti 上 特征 值 随机 出 现 的 实 Schur 分 解 
QiAQr = Tr. 如 果 我 们 需求 一 个 不 变 子 空间 的 应 变 基 ,而 相关 
特征 值 都 不 在 T 对 角 线 的 上 部 则 会 产生 问题 .很 明显 ,我 们 需要 
一 种 方法 来 计算 正 交 矩阵 Qp 使 得 QDbTiQp 是 特征 值 按 适 当 顺 序 
ARI F = A RE. 
TUB 2x2 的 情形 ,我 们 就 能 明白 如 何 实现 这 一 点 . 设 
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QFAQF = Tr = » "I A, Fao, 
且 我 们 和 希望 颠倒 特征 值 顺 序 .注意 Ter = Aor ,其 中 
r = | š 12 |. 
À3 — Ay 


4 Op 是 Givens 旋转 变换 ,使 得 Obr 第 二 个 元 素 为 零 . 如 果 Q = 
Orn. M 
(Q'AQ)e, = QDTF Ope.) = 20b Qe) = Arey. 
于 是 Q'AQ 一 定 具 有 如 下 形式 : 
Az Bd 


o 40 = k. A, 


假定 在 对 角 线 上 没 碰 到 2x2 HERIR, pii ty AX - -技巧 系统 地 
互 换 相 邻 特 征 值 ,我们 就 能 把 A CA) POE RECTE SERE S| T 的 对 角 线 
最 前 面 . 

算法 7.6.1 给 定 正 交 阵 QE!” k= AH T= TAQ， 
BACAM FR ASAA ,本 算法 计算 一 个 正 交 阵 Qu 使 得 
ONTO, =S p L Z jf Bls, s |= A. EO # T PBR 
QOr 和 HK. 
while{t1i,... s Ea | EA 

for ËE—1:2 —1 

ifl ZA Hear a € A 

[c,s]=givens(T(k,k + D, T(& * lk c1) — T(E,E)) 


| cs] 
Tek +1 kin) =| | T(k:ktl,h:n) 
US C 
"S € 


QU in kk SD T Qin kik + D| ‘| 
s C 


end 
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end 


end 
这 算法 需 有 (127) 个 flop XH £ 是 所 各 交换 总 次 数 .整数 下 决 不 
K¥(n- pb. 


当 丁 的 对 角 线 上 有 2x2 块 时 ,交换 变 得 稍为 复杂 . 欲 知 详 
情 , 请 看 Ruhe( 1970) 和 Stewart( 1976), 当然 ,这 些 互 模 技 巧 可 用 
于 特征 值 排序 ,比方 说 按 模 从 天 到 小 排列 . 

通过 进行 实 Schur 分 解 来 计算 不 恋 空间 星 非 常 稳定 的 . 如 
果 记 全 ==161,…,5,] 为 所 计算 的 正 交 阵 Q, W OT Q-Il ,= 
u, BI EER E WE || E | ou | aA |; 使 得 对 ?= 1:p 有 
(A+ E)G,€span{§,,°--,g,}. 


7.6.3 BOR 

a 

^s 
Tí; T T, 1214 
Ü T> T;, "n2 

T= | : ` (7.6.3) 

() Ü c- T Ne 
H1 Ho Hg 


是 某 实 Schur 标准 型 Q'AQ = T C»"'""ing^rXy, C NS E 
AC Fy), ACT) A AB SE. Hp E ER. 7.1.6 FF EB BE Y 使 得 
Y !TY = diag( Ti, T). 现在 ,我 们 给 出 计算 Y 的 实用 算法 
LARRY 的 敏感 度 { 作 为 以 上 分 划 的 函数 } 分 析 . 
将 L-[Ej-.E,l's T 相符 分 划 且 定义 YE.…*** 如 下 : 
Y; = L + EZE], i<j, Z € mm 
换 句 话说 ,除了 ZERG, | ERS, Y. E E kako rE. B 
此 推出 如 果 Y; TY, = T- CT, DW T # TIR F 
T, = T,Z; — Z;T; + Ty, 
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T, = Ta- ZT, | (k—j*l:q), 
T, = TZ + T; (k= l:i-l1). 
之 外 都 是 一 样 的 , OEE, HSE II KT ORE Sylvester 方程 
FZ- ZG = C, (7.6.4) 

Hp FE!” Ge rr ah iM E ¿fq S CC S^", W| T; 
能 被 化 为 零 . 

Bartels 和 Stewart(1972) 设 计 了 解决 此 问题 之 方法 . 令 CC = 
[c s A Z= [z i. RAR. WR uuu 0, S id 
比较 47.6.4) 中 的 列 我 们 有 


& 
Fe, - 2,ggn = C, 
这 样 ,一 旦 我 们 知道 zis,- TEC] RT SEU — ffi Pr E 
此 一 上 
(F — gul) Fs = G; + 2 gaz; 
rol 
得 到 Z. 如 果 Ey «1,4 OO, WU ER 2p X2p 方程 组 
| 一 gl t| 
Limit F 一 Emml 


Te 
a hl 


- |^ | [5 | (7.6.5) 


Cm Eun: 
同时 求 得 z, Mezi 上 式 中 m=k +i ERHI, p+t1l,2,pt 
2,,p,2p) & tB ix 4e Jj Ré, gh RAA O ( 2) + flop 就 可 
求解 的 带 状 方程 组 . 可 在 Bartels 和 Stewart( 1972) rh X BI EL 5 
节 . 以 下 是 当下 和 G 均 为 二 角 阵 时 完整 的 算法 过 程 . 
算法 7.6.2(Bartels-Stewart 算法 ) AE CE, LEA 
FE ?和 GEL BRACE) OACG) = 人 人 ,本 算法 用 方程 FZ 
-ZG=C HRAC. 
for =1: r 
C(l:p,R)—C(CI: p,2)+C p, Lk - DGOU:k-1,k) 
ALF- GCk E) D)z — C(I: p, &) fi Z 
C(l:p,k)-z 
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end 
此 算法 需要 pr( ptr) flop. 
He T A EOSETR ER DAE SAFE 352 , RE SB EE EEA 
分 块 对 角 型 . 
算法 7.6.3 给 定 一 个 正 交 阵 QSL" -PRELAM 
T—-Q'AQ, E (7.6.3) 88 ZR, TRHA OY 8 š Q , 3 P 
Y '!TY - dag( Tj ,了 了 >). 
for ; 72:4 
for ; —1:;- I 
M Mk 7.6.2 8 TZ- ZT, = — T, K h Z 
for £—; +]: q 
Ta= Ta — ZT 
end 
for k = 1: g 
Qly = Quz + Gy 
end 
end 
end 
该 方法 所 需 的 flop $83 07.6.3) PAIR R TRR 3 a 28 BU ROC. 
3E Schur 型 了 及 其 在 (7.6.3) 中 分 划 的 选择 ,决定 了 在 算法 
7.6.3 中 必须 求解 的 Sylvester Jy £2 BJ R RE. iX pR EEO 的 
条 人 忻 和 分 抉 对 角 化 的 整个 有 效 性 .有 这 些 依 赖 关 系 的 原因 是 方程 
T,Z — ZT, = — T; (7.6.6) 


的 解 立 的 相对 误差 满足 


IZ-Z lle I T It r 
A Zip sep( T. T,)' 


欲 划 详情 ,请 看 Golub, Nash 和 Van Loan( 1979). H 


|| TX ~ XT, || 

. EN + i — * 

sep Tae By) = mip TXT Sume la el 
sea) 
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ep re a PI l 


HETE 4(T;) 没 被 足够 分 离 , 精 度 就 可 能 严重 丢失 .而 是 ， 
如 果 世 满足 (7.6.4), 则 
| T; || 


- — 4g MF. 
| Z | F = sept T; T) 


这 样 ,如 果 sepC T; T, ) 小 ,那么 大 范 数 解 将 是 意料 之 中 .这 就 使 得 
在 算法 7.6.3 PER Y 变 成 病态 ,因为 Y ese, =| ”| 之 


O I 
BLU (O22 |Z |>. 
pi ls xx HE PEPE , Barely 和 Stewart( 1979) H2 4H. y — T arik xt fü 
化 的 算法 , Tz S zs Host og (7.6.3) P BEBE RE IB MH FORT ST E. RE TET 
7.6.3 PRA Ze SERA BOA eA. 他们 发 现 通 
过 控制 Y; 的 条 件 可 以 控制 了 E. 


7.6.4 特征 向 量 基 


如 果 分 区 (7.6.3) 中 的 每 块 都 是 1 x 1 块 , 则 算法 7.6.3 产生 
一 组 特征 同 量 基 . 与 道 迄 代 法 - 样 ,计算 出 的 特征 值 和 特征 向 量 对 
正好 相对 某 一 “名 近 " 第 阵 是 精确 的 .三 泛 采 用 以 下 规则 来 确定 适 
当 的 特征 向 量 方法 ;每 当 想 要 的 特征 向 量 少 于 25% 时 ,就 使 用 道 
ERK. 

但 是 ,我 们 需 指 出 实 Schur 型 也 可 用 来 计算 指定 的 特征 向 量 . 


i 
Ti u Tis) k-1 
oo A vl ] 
.0 Ü Tink 
k-l 1 # — Ë 


是 拟 王 三 角 阵 且 A CACT,)UACTs3). mb ig W. n S3 (158 2x 
性 方程 组 (Ti — AD) = -au ICT; - AD) Iz = — v Bl 


wW 0 
ol sol 
-z 


0. 


. 427 + 


是 相应 的 右 、 丰 特征 向 量 , 注意 :2 的 条 件数 为 
1⁄s(A) = (1! 


P+ ele + ziz). 
7.6.5 确定 Jordan RA 


设 我 们 已 求 出 实 Schur 分 解 A = OTO?, C H E FRET tF 
EHHA T HIS ESSE fR E T= Ydiag( Ta, Ta Y l. IF 
WRN OW ux PRB TS. A, MH Rd IRAE i oe 
每 个 五 :的 Jordan RAG, SX cz fib S1 SEEK AY Bee SB. fay Së 36 pz ix 
些 难点 是 为 了 说 明 Jordan 分 解 的 局 限 . 

为 清楚 起 见 , 谨 ACT, DAR. AME T, À Jordan Wi, A; HJ 
C-AICNEDBBEOETUE T, SYN ET BJP ETE LA 
为 其 特征 值 的 平均 值 . 

回想 到 Jordan iR JF (AO AY aE S El (AO — AR J^ = 0 的 最 小 
非 负 整数 .这样 ,如 果 op, = dim[nullé N], —0:», 0 5; — 5. 
* T C PHRMA FRS Fi Jordan 块 的 数 日 .一 个 县 体例 子 有 
HTAA Æa Ha AAH SVD 在 Jordan 型 计算 中 的 作用 . 

设 忆 是 7x7 阵 .假设 我 们 计算 SVD 为 UINY, = 五 R“ £ 
AL" N 之 秩 为 3. 如 果 我 们 将 奇异 值 从 小 到 太 排 , 则 可 得 出 矩 阵 
N i= YIN 型 状 如 下 

N = P Kj 


0 L-3 
4 3 


这 样 ,我 们 知道 A 89 JL fap a 4, ee. C 的 Jordan 型 有 4 
块 (pl 一 pn=4 一 0=4)， 

现在 设 DILV, = X, E L BJ SVDILSE(TA SIL 的 秩 为 1. 
TUBE) -次 将 奇异 值 按 从 小 到 大 排 , 则 天 > = VILV. 很 明显 有 
A PAP. 


Ú 


0 
L;- |0 0 il 
LO O 
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SRAM ACL) = ACL) = 10.0.0) 3X FE e= 0. 所 以 ,如 有 果 
V. = diag( 14. V., 
则 N= VIN, Vo H4IÉX: 


0 Ü 0 Ü x x x 
0 0 0 0 x x x 
0 0 0 Ü x x x, 
N.- |0 0 0 OQ x x x! 
0000 0 0 aj 
00 00 0 6 ^ 
0000 0 0- 


除了 和 从 证 我 们 在 F 于 角 块 产生 更 多 零 外 , 工 的 SVD 也 使 我 们 能 推 
出 Ni 的 模 空 间 维 数 . 由 于 
0 KL]. "0 K [a K) 


Ni=| o, 
0 L^ -0 L lÜ L 


u|* ena. 
LL 
p2= dim(null( N7)) = dim(null( N1) ) 
= 4+ dim(null( L3) = p, + 2. 

这 样 , 到 此 我 们 能 断定 C 的 Jordan 型 至 少 有 两 个 维 数 太 于 或 等 于 
2 m. 

最 后 ,容易 看 出 Ni=0. 由 此 可 推 得 有 55 5277-671 
维 数 大 于 或 等 于 3 的 块 , 若 我 们 征文 V= v U, 则 可 得 知 分 解 


ra 0 0 0 x x < | 、 
0 À Ü Ü x< x< >! 
“4 Tu ET PB : 
0 0 4 0 xx x| | DET Ag 1 gH K 
VICY = P 0 0 à x x <| | 
0 0 0 Ü A > a ! 
| 2f 2 或 更 大 
|o 0000 à O| | RBUS 2 或 里 大 
i0 0 0 0 0 0 AÍ il 抉 阶 为 3 或 更 大 
“tan C 的 Jordan R28: 2 BA 1,1 HESTA 2,1 Rpr 3. 
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计算 Jordan 4} 4 4^ 29 2K Bh GE FE 2E 7E 8. ECT ix 28 £5 465, 3€ 411 
建议 读者 参考 Golub 和 Wilkinson (1976) 或 Kágstróm 和 Ruhe 
(1980a, 1980b) .- 

EE SVD ñJ H 8.36 y Sons T BES BB E E e A E k LA I 
后 计算 出 来 块 结构 严重 依赖 于 那些 决定 .侥幸 地 是 ,在 实际 应 用 中 
几乎 总 是 能 用 稳定 的 Schur 分 解 来 代替 Jordan 分 解 . 

习 题 
7.6.1. 试 给 出 一 算法 几 来 解决 一 个 实 的 ,xn xX x 阶 的 上 拟 二 对 角 方程 
组 Tr = b. ` 
7.6.2 VEU lAU = diag( ei, tt, am) HV! BV =diag( Bi, B), UE 


BA: 0(z)- AX + BX, GAA) = la T Bii 1m. dni. Bi] Ay 
征 疝 量 是 于 么 ?如何 用 这 些 分解 来 求解 AX + XB = C? 


7.6.8 证 明基 v-[, f] eon e (eet + VATE yo dn o 
= || Z |! ;. 


7.6.4 导出 (7.6.5) 式 . 
7.6.5 设 了 ER 是 分 块 上 一 角 阵 ,其 分 划 如 下 : 


Ty Ti Tọ 
T = Ü Tx T^i N T = GSS 


0 0 T 
假定 对 角 块 Tw 是 2x2 的 ,其 特征 值 基 复数 里 与 4({ Tl) 和 X(T;) 不 相交 ， 
试 给 出 计算 与 T;; 的 特征 值 所 对 应 的 2 维 实 的 不 变 于 空间 的 算法 . 

7.6.6 BE HCu'"ERESNBA + ix 的 上 上 Hessenberg EE, 怎样 
FERRE x C EH atiy) (At iu) rtiy)? 提示 :比较 等 
式 实数 和 复数 部 分 ,就 得 到 一 个 2n x2n 实 方程 组 . 

7.6.7 (ta) 证 明 ; 如 果 eg C oO ASSES SERE , MES 


1 
Hel 一 i (a + +) 
在 Rel jeg) >0 RERE, 1, E Ref po) «0 BE CRI — 1. 


(bit ACO "Rap xi HLA, R 
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D, Ü 
A = X x !, 
0 D. 


Hyp, Eraxp p. coco nri Po aE EAMT CREE A TRAY 
FEE qi B9 XI fA BE. TER XR TÀ. 


Agi = T, tA) Aoc A 


FI ü | 
. — wi? -l 
i = = x r 
Je x Bj sign( A ) x) 0 Lo, 


Mi, M P _ Du 
() My. in — p 
P n-p 


MA(M22) 在 左 半 开 平面 .证 明 : 
[5 z | 
signt M) =) 0 B, ， 
H- Z/2 E M, X Ma = 7 MB IX FE, 
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$7.7. Ar=ABr 的 QZ 方法 


4 A fü B 是 两 个 xn Xn PA A — AB , À € C HEE 

集合 称 为 束 . 束 的 特征 值 是 集 4(A,B) 的 元 素 , 定 义 为 ; 
ACA,B) = [z € Cidei(A — zB) = 0}. 
WE CACA, B), H 
Ar = ABr, <= OÜ, (7.7.19) 

Wr AAA — AB 的 特征 向 量 . 

本 节 简 要 地 综述 广义 特征 问题 (7.7.1) 的 某 些 数学 性 质 ,并 为 
解决 这 个 问题 提供 一 个 稳定 的 方法 .在 8.7.2 小 节 中 讨论 A RB 
部 是 对 称 阵 且 后 者 正定 的 重要 情形 . 


7.7.4 基本 知识 


静 察 广 这 特征 值 问题 的 第 一 - 件 事 是 :当中 促 当 rank(B 1 = n 
IE FETE on 个 特征 和 值 ,如果 BARS, N ACA, B) EA 
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限 集 , 空 集 ,或 无 限 集 . 


0 
o Paca, B) =, 
1 
Paa 8 = @. 


4=| “| B=| [ACA B)= 
0 ol’ 0 0 ' CU 


HERE 35 02£ACA , B), UCLA) € ACBL AD IE Ab, LR. B 为 非 
ZEE, ACA, B)=a(B 1A,D—A(B ! A). 
CEREK BEAST EE TT -AA A - AB 问题 的 方法 : 
HM BC = A Rt 全 ,比方 说 可 用 列 选 主 的 Gauss 消去 法 
。 用 QR 算法 计算 的 特征 值 . 
注意 ,C 将 受到 量 级 为 中 | Allo B ||, 的 伟人 误差 之 影响 .如 
果 B 是 病态 阵 , 则 这 就 排除 了 精确 地 计算 任何 一 个 广义 特征 值 的 
可 能 性 一 一 包括 被 认为 是 良 态 的 特征 值 . 


7.7.1 如 来 
[174 0.940] 7 [0-780 0.563) 
X «14,246 1.89817 ~ 10.913 0.6594" 


WA (A, B) = 12, 1.07 x 1061. 8. 7 FAAR, 发现 
ACFICAB 7 1)) = 11.562539 1.01 x 1081 ,小 特征 值 精 庆 很 差 的 原 
EX e(B)52Xx105. 另 一 方面 ,我 们 发 现 
ACT, FCA 1 B) 3e12.000001,1.06 1081. 由 于 r(A 4, 
小 特征 值 的 精度 被 改善 了 . 
这 个 例子 提醒 我 们 去 寻找 其 他 解 A — AB 问题 的 方法 .一 个 
想法 是 选取 和 良 态 阵 Q MZ 使 得 矩阵 
A, = Q !AZ, 
B, = Q "Bz 
都 是 标准 型 .注意 到 ,从 
AX = ABX=A.y = AByy,a = Zy, 
Wy A(A,B)=ACA,, By). 30 (7.7.2) E R. Q AZ TF, 
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(7.7.2) 


RIX A — AB ANA, — AB, BID EH. 
7.7.2. [^X Schur 分 解 


S MEAS GE EA — AI - - 样 ,在 标准 型 当中 亚 有 选择 .与 
Jordan A JS (0L RS B: Kronecher 的 分 解 ,在 此 分 解 中 A, Fi B, 都 是 
PRU AA Ee. 这些 块 相 似 于 Jordan 块 .Kronecher tj Y 8 iig Ki Ru Jor- 
dan 型 同样 的 数值 因 难 . S it, k R RE HS ERES EE A — AB BO 
数学 性 质 . PERL Wilkinson( 1978) Demmel, Kagstriim( 1978}. 

从 数值 观点 来 看 ,更 吸引 人 的 是 用 Moler 和 Stewert (1973) fil 
还 的 下 列 分 解 . 

定理 7.7.1 (广义 Schur 分 解 ) 如 果 ABO” MAAK 
H Q 和 ZZ 使 得 QFNAF = 了 了 和 OHBZ-S LEAH. XM XR, 
fae F sa ROS ELI ACA LB) = CLE WJ 

ALA, B) = 17/8, | s, £0}, 

TEAR < IB, ERAF B 的 -- 列 非 奇异 矩阵 ,对 每 个 点 , 令 
Q:'(AB;') Q, = R, 为 AB,! 的 Schur 分 解 ^ Z, 是 使 ZH 
(B, gos si! 为 上 三 角 阵 的 西 阵 . Hi I Ay iL, OVAZ, = R,S, fü 
QUB,Z, HELE fi E£. 

运用 Bolzano-Weierstrass 定理 ,我 们 知道 "4. ZO m 
ACF IM lim(Qu.Z,) -(Q.Z), REQ Wz Jë FEE R. OP AZ 
WIQUBZ 都 是 上 三 角 , 从 等 式 


det(A ~ AB) = det( QZ") n (t; — Às,) 


即 得 到 关于 ACA,BOISB Pr. 品 
E A,B 是 实 阵 , 则 对 应 实 Schur 分 解 (定理 7.4.1) 的 下 列 分 
解 是 重要 的 : 
定理 7.7.2( 推 广 的 实 Schur ÉTÉ) 如 果 A fo B X xU Dk. 
MILF F X E Q 和 了 使 得 QT4 和 是 拟 上 三 前 阵 且 Q BZ 是 上 三 
ALE. 
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WEAR Æ Stewart (1972). [] 
pF AA | Be PB y FR 125 Hu ^p REPERTUS P] RACE VAL WA. 


7.7.3. BRE 


JU S Schur 3) St AAA Y A - AB [nl am TF fc (E y PE. 4 HH 
显 , 如 果品 很 小 ,4 ALB 的 微小 变化 能 够 导 第 特征 值 4, = 1,75 BE 
ARS 3E f£. SRT, ah Stewart (1978) Ffr B , LACS 3x EE MI Pp hp TB at 8 
态 的 "是 不 恰当 的 .理由 在 于 其 倒数 e, = s; Zt, NEE nA — BOR 
的 性 质 很 好 的 特征 值 . 在 Stewert 的 分 析 中 ,4 AB 被 半 等 看 竺 
日 特征 值 看 成 序 对 (7, ;3;,) 而 不 是 商 . 按 此 观点 ,很 谷 天 川 张 度 来 
度量 特征 值 的 扰动 , 弦 度 chord(a , b HEAD 

la — hl _ 
chord(a , 56) = ieee. 

Stewart 证 明了 若 A ÆA — AB AURA, 是 相应 扰动 东 和 起 - AB 
的 特征 值 ,这 里 上 AA 一 A || sae || B— B || save. Dil 


chord(A , A, ) == + Oe), 


(Ar + (Br 
其 中 x Aly 都 是 2 范 数 单位 向 量 , 满 足 Ar = ABr Aly = ay BR. 
注意 天 ,上 界 的 分 母 对 4 ,B APRAN. “RE HRA ER 2 XD 
些 使 得 该 分 荚 很 小 的 特征 值 . 

XIX k, ty = sy = 0 的 极端 情形 已 被 Wilkinson( 1979) P BF 
eA — TUB RBS SUA A oz, ss BI IE 
定 为 任何 值 . 


7.7.4 Hessenberg 三 角 型 


if RCA, BREE RT AIT X. Schur 分 解 的 第 - : 步 是 通过 正 充 变 
felt, A 为 上 Hessenberg 型 ,B Jj E £898. 3X ÍT ET w UR x — T IF 
交 阵 U ,使 得 OTB 是 上 三 角 阵 . 当然 .为 保持 特征 值 不 变 ,我 们 也 
必须 用 同一 - 正 奖 阵 作用 于 .让 我 们 看 看 n = 5 时 是 怎样 发 生 的 . 
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=A. ac, 


角 阵 同时 ,化 A 为 上 


Givens 旋转 变换 Ql as, NS: 


接着 ,我 们 在 保持 BE 


x 


x x< X X 


x K X X 


0 0 0 


0 0 0 


fE B PONE ER EENE BE Ais H Givens 变换 


Zasitt = : 


x >< x< >< Xx 


x << x< x 


x< KO A X 


x x< X 
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Kp Bb We A 的 (4.1),(3,1}) 元 素 清 零 : 


XD X X X X 
x X x x X 
0 x x x x 


Ü ox x x 


| 


X X x x x 
x x< x X Cc 
x x< < =< = 
x x =< coo 
x cc = = 
L -~ | 

il 

š 

= 

II 

e 
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! 


L -— i 


A= ry = 


- 


X X X X X X X X X X X X xx 


XX OX X X X X X X DM X X X X X X X X 
X 
L. 


= 
T C X X xw X X X X CO C X X X x wv X X X 
T oO X X X X X X X X C C X X X X X X X X 


x XM OX X X 


= 


0 0 

A 的 第 一列 已 是 上 Hessenberg 型 .将 as, anti asii = LIE 
约 化 则 完成 .很 明显 ,要 将 ¿ [E SE. ELIT IE EE 38 AE 
个 用 于 化 零 , 另 一 个 用 于 恢复 B 的 三 角形 式 . 用 Givens 变换 成 2 
x 2 修正 的 Householder 变换 均 可 .总 之 ,我 们 有 : 

算法 7.7.1 {Hessenberge 一 一 上 三 角 型 归 化 ) 4 A $e B C 
kn ,本 算法 计算 上 Hessenberg 型 阵 OTAZ fk = AM QT pZ 
并 分 别 和 覆盖 阵 上 各 PBL P Q # Z z? E S E. 

用 算法 5.2.1, 计 算 OTB=RHKRAB AY Q 2 ES BE B. 

R 为 上 三 角 阵 ， 

A-Q'A 
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for ;—1:5 -2 
for:;—5:—1:5;*2 
-c,s]=givens( AC — 1,52, (1,22) 


r 


1 
AG-Ligim=| ' | aG- liipin) 


5 

C 
c s]. 

BUH Mii 1nd =| | BG lui" lin) 
eg 

[es] - givens( - BCE D) BG i 1)) 


Bünicb-Bud-l| i °] 
_ n 


AQ n ET) AG i= :| c 4 
Ts 


C 
end 
end 
ERT 8e 个 flop. 要 把 Q Z RRA Rik 9 as? 
32? 个 flop. 


{£ A — AB JJ Hessenberg = f A HE — PT X. BJ QR 3X fX, 
即 下 节 要 介绍 的 称 之 为 QZ ERICE ae RA” AER. 
例 7.7.3 ik 


"01 2 
A= 1 2 -I|, B= 
1 1 


AER Q 入 定义 为 
| .1231 — .9917 so 


一 .4924 0.0279° — .8699 
— .8616 0.1257 0.4917 


1.0000 0.0000 06.0000 
Z 9.00 - 0.8944 vam 
.0000 0.4472 - 0.894 
则 A,-OQTAZ RB,—Q'BZ X 


il 


Q 


li 
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ni ima d s 


ps 1.5413 vnm 


A, = |— 9.7631 0.0874 — 1.9239 
0.0000 2.7233 — 0.761 
— 8.1240 3.6332 14.2024] 
B, = | 0.0000 0.0000 1.8739 |. 
0.0000 0.0000 0.7612- 
7.7.5 BEBE 


不 失 一 般 性 ,在 描述 QZ GEIR RTT R E A 是 不 可 约 
E Hessenberg 阵 , 吾 为 非 奇 异 上 三 角 阵 .第 - :个 要 求 显然 合 埋 , 因 
为 者 ay x1, = 0, M 
AB = "A, ABa 4 一 nea Ë 
m 0 A» — AB; In — Ë 
Ë n - Ë 
从 而 我 们 只 需求 解 两 个 较 小 的 问题 411 一 2BL fl An- ABg. A 
Jj iB o ES k T be =0, 则 可 把 和 的 (na 一 贡 位 置 的 无 素 化 
WE ,然后 降 阶 .下面 举 例 说 明 i a= 5,2 =3: 


x x x x< x B x x x x 
x x< X x X iO x< x< X X 
A= 0 x x x x|, B= 0 0 Ü x x) 
0 Ü x x x 0 0 0 x x 
0 0 0 x x 0 0 0 0 x 
FA Givens 旋转 可 以 把 B Iff, ESSE" ET PE" B55) ie RE. 
x x x x Xj 
x x x x x 
A = Qh4A= |0 x x x xJ, 
Q x x x X 
0 0 0 x x 
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x x coc 
x cO c occ 
LD 

ll 

的 

eu 

M 

H 

的 


~ >x x< X OX 


AU X X X 


| —  ——— 
x X X X X 
x X X X X 
x X X X X 
x X x > c 
x X cc oc 
LL | 

ll 

ft 

= 

1 

" 

Bos 
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| x x XxX | 
(| x x x 
B = BZ; = (ð Q x x x 
0 0 0 Ü x 
‘0 0 0 0 0| 
[x x X X x | 
Ix x x x x 
A — AZ- |Ü x x X x | 
0 0 x x x! 
0 0 0 0 x 
X X < X X| 
| Ü x x X X 
B= BZ; = Ü O X X Xx 
0 Ü 0 x x 


oO 0 0 0 O0. 
SP ER XE IS RS EHS. PIS HABE B 的 对 角 线 什么 位 
FL , 均 可 将 uin MAS. 


7.7.6 QPR 


现在 ,我 们 来 描述 QZ 步 .其 基本 忠 想 是 把 A,B 和 作 如 下 的 变 

f. 
(A — AB) = Q'(A - AB) Z. 

Hp A Æ E Hessenberg, B && = ff 78, Q HZ EJ NS iE SE EE, EL 
AB “本 质 上 "和 将 Francis QR 步骤 (算法 7.5.2) 应 用 于 AB! 
所 产生 的 窍 阵 是 同一 个 丝 阵 . 我 们 用 在 干 瑟 妙 的 过 起 各 技术 以 及 
oR BAF Rack Q E BE "IT PI fi BK — x. 

^ M = AB !( E Hessenberg HOH o FE SRIEE(M — a )( M 
-DES FAs a RIS EM 下方 2x2 remm fa. i 
ATH OCIO flop 计算 出 ro. & Po Bf Pow Ae, ZARAI 
Householder KE , MI) 


| x x xX X x] 
p x x x x 
(X X X X X X 
A= PoA — ' , 
Ü Ü x x X > 
0 0 0 x X X 
0 0 0 Ü x x. 
x x x < X x | 
x x< X X x > | 
x x K x x x 
B= PB 0 Q0 Q x^» x 
0 0 x 


0 D 
lo 0.000 x 
现在 的 思路 是 通过 往 下 赶 对 角 线 之 下 多 余 的 非常 瑟 来 把 这 两 个 中 
阵 分 别 恢 复 到 Hessenberg 型 和 二 角 型 . 
为 此 , 先 确定 -- 对 Householder PE Z, 和 Z. Pj 63, ba) Fl by 
TA ; 


-7 
x x 
-— 


A = AZZ = 


=< <= = = X G < x X X Xx 

coce X X &@ = x x x x 
cO > x X X = = X X X X 

O Ox X X X & X X X X X 

D X X X X X X X X x X X 
a ^ 


Ü xi 


然后 ,用 Householder Ë P, 将 et 和 aq ity: 
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x X X X X X 
iX X X X X X 
OG x x x x Xx 
A = P,A = , 
0 x x x x x! 
0 0 0 x x “| 
0 0 O0 Ü x x 
(X X X X X X 
10 X x x x X 
‘hb x x x x x 
H = P IB = + 
( x x x x x | 
0 0 O0 Ü x d 
0 0 0 0 Ü x 


注意 到 ,全 此 不 想 要 的 非 零 元 已 从 它们 的 原来 位 置 向 右 下 方 
oa). X 18 QZ 算法 的 一 个 典型 步骤 .注意 到 Q = Q Q: 0g. 
fü Oo 有 相同 的 第 一列 , 根据 初始 Householder 阵 的 确定 方式 ,我 
们 可 以 利用 隐 式 Qe Hh AB l= Q I(AB DO 的确 "本 质 
上 ”与 直接 将 Francis 从 代用 于 M = AB `! PT si Ap Eg e e] — E 
阵 . 总 之 我 们 有 : 

算法 了 .7.2(QZ 步 ) 给 定 不 可 约 上 Hessenberg 阵 A € 777 
feib4 RL= AE BCH", AHL A Hessenberg 阵 GQ'AZ 和 
二 三 角 阵 台 IBZ 3 A SA BLE P OQ Z ALRE HHO 
与 应 用 于 AB 13:3 7.5.1] 6) iE X dea d 38 MEE jg F] as $1. 

4 M-AB ir (M — al) (M - bl)e = (æ, yiz, 0, 

0)T XP a deb AM 的 右 下 角 2x2 的 主子 阵 的 特征 值 

for £—-1:2-2 

R Householder 阵 Q, E Q [x y z]'-[ * 00]'. 
A 7 diag( I5 .1, Qes 1, Í -2)A 

B = diag( L 4,Q4,1,.;.2)B 

4%, Householder E ZZ 使 得 

Lotz, bg a2, el bio, si2lZii = [0 0 * |. 


Mmi —r———— Fm ,sII m rra. 


A= Adiag( I, -15Zeistn 4-2) 
B= Bdiag( l-4, Zas le- 2) 
1X, Houscholder £ Zy tÈ 
[berie b+ es 1lZaz = LO * | 
A — A diag( L, 1. Za L4. -1) 
B= B diag( L, 4, Zs 1, 1) 
T= Betas 7 k+l, k 
if £ < n — 2 

EGRE 
end 


end 
# Householder Q, 1144F Q，， N | 一 | à | 
Y 


A = diag( IL, 5, Q,- A 

B=diag(I,_>,Q,-1)B 

R. Householder Z, -1 使 得 

[En n-i SmIZ,-1.= 10 *] 

A — A-diag( L, 5, Z, - 1) 

B= B°:diag( 1, 5,Z,.4? 
这 个 算法 需 2222 flop. BH Q WZ 4 5035 98 F 877 和 132 
个 flop. 


7.7.7 完整 Q7 过 程 


把 一 系列 QZ 步骤 应 用 到 Hessenberg = AHI A — AB 束 , 就 
能 将 A 化 为 拟 三 角 型 .在 运算 中 ,有 必要 监视 A MRA AB 
的 对 角 元 , 蔡 有 可 能 就 进行 分 离 , 完整 的 过 程 (由 Moler 和 Stewart 
(C1973) 提 出 ) 如 下 . 

算法 7.7.3 BEACH BE: 7" KES N i 2 B 
O Z EOAZ=T AMLEAAMREOTBZ=S5 ALAA. 
TAAZA,S MAB. 


— rw Sy ar er 


用 工法 7.7.1 计算 Q'AZ (上 Hessenberg FH RA A 和 
QIBZ B£ B( E = AM) 


until q=7 


令 所 有 满足 
lai als eClai aft las ) 
的 次 对 角 元 率 为 零 找到 最 大 非 负 值 q 和 最 小 非 负 值 PP 使 得 
fe K 
Ai A 12 Á13 p 
A= | 0 Az Aa3|n — p - g 
LD 0 Aas q 


p n p q qg 
R A345 44. E = f RE E. As; T 8 4k, AE Hessenberg EF. 把 
B 3š Suet: 


B, Biz B; p 
B= | 0 B: B;; n — p — g 
0) 0 B33 q 
p n-p-q q 
if qn 
if BF 则 
Opa n-g 17 AR 
else 


KE Ap By LARUE 7.7.2 

A=diag(I,,Q@,4,)'Adiag(I,,Z,1,) 

B — diag( 1, , Q , E.) Bdiag( I, Z , L.) 

end 
end 

end 
此 算法 需 30n 个 flop. AO 需求 出 ,还 需 上 额外 的 162^ 个 flop. € 
想 要 Z Wh 202 个 fiob. 这 些 工作 量 的 估计 是 基于 每 个 特征 值 
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约 需 两 个 QZ 迭代 这 个 经 验 . 这样 ,QZ HERE A QR 3S 
(t HE .QZ 算法 的 速度 不 受 BB 秩 亏损 的 影响 . 
可 以 证 明 ,计算 得 到 的 S 和 了 满足 : 
QA + F)Zy = T,00(B í F)Za = S, 
这 里 Oy 和 Zo HMHE, TE E l.==u fA il. A I Fill. 
acu || B|. 


67.7.5 若 QZ 算法 应 用 到 


23245 6 
4 456 7| 
A=|0 36 7 8', 
0028 9 
0 0 0 1 10 
i1 -1 -1 -1 ! 
0 1 -1 -1 -1 
B= 0 0 1 -1 -1|, 
0 0 0 1-1 
lo 0 0 0 1 


则 A MART AL ROK F 


iE iX OCIh al) QCI hal) Olja!) Olas |} 


1 10° 10! 10° 107! 
2 10° 10° 10° 107! 
3 100 10! 107! 107? 
4 10? 10° 107! ia ^ 
5 i 10! 107! 10 !Š 
6 10° 10° 107? e SA 
7 10? 107! 10 * 
8 10! 107? JO Š 
9 10° 10 1 io | 
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x 
xk Ot| ^a |) OClÓhal) Ot hat? Of iA l) 


10 10° i077 We at 
11 107! 10 ^* 
12 10 * 107" 
13 10 3 iQ 7 
14 [A ee We ay 


7.7.8 广义 不 变 子 空间 计算 


$7.6 中 所 讨论 的 许多 不 变 子 空间 计算 者 可 推广 到 广义 特征 
问题 . 例如 ,可 以 由 反选 代 求 近似 特征 向 量 : 
给 定 gO Cu 
for £ -1,2,-- 
RECA — aB) zi =: Bgt 
MEg = zt mp 


4 = Fg) Hag [gH] AGO? 
end 
MC B ASB A SERERE HY TAS (7.6.1) EHI OBERE B 1A. 如 果 
eA OZ BETH UH EB PGE I1) E - - RH RE -次 选 代 . 通 
过 对 Hessenberg -AMRA MER, QZ BRU RR Z 的 
rea (ffr ET LI ot SG. 
类 似 于 单个 矩阵 不 变 子 空间 的 概念 ,我 们 对 和 -下 素 有 降 
阶 子 空间 .具体 地 说 ,如 果子 空间 14zr+Byw:z,ycSl 的 维 数 小 于 
或 等 于 类, 我们 就 说 下 ETS SC" 对 A 一 AB 束 是 “ 降 阶 ”的 . 
注意 ,在 广义 Schur 分 解 中 ,矩阵 Z 的 列 确 定 - - 族 降 阶 子 空间 ,这 
是 因为 如 果 ? 一 [as Uta q, J, Z = [ zy, mE za]. 则 我 们 有 : 
spanl Az,,'", Az, = span | gust ga) 和 span | Bz, J, Be, |S 
span| gists gel. 
Ree rs Ja] AY PE Uf FHEA Stewert( 1972) Bf 
* 450 - 


Ja Ë. 


2] 题 
7.7.1 A MBE SH 
t D 01 r - ; ' 
U'Bv-| | .U=[U, U; 3 V-[Vi v. | 
r “H Fr 


FE. B ESDA, HP D E rx + Br —rank( B). IEI: 05€ AC A. B3 — 
m UAV 是 奇异 的 . 
7.7.2 UM F, `"— z 8 
1 | a) B'A? 
Pl) = 3 Ac Srp Be | 
其 中 及 和 BE oP" " EA lE V FCH) O.M] Ar E Br 的 倍数 . 
7.7.3. RAABE ^", 315 — EE HE EZE Q MZ, (Eig 
Q'AZ E FE Hessenberg MA Z! BQ E L = fb £. 
7.7.4 if 
A= [^n MELE m s]. 
Ü A; Ü H- 
其 中 An B Ci AS BoE :在 什么 情形 下 存在 
L X, L Y, 
x= [° "hay =|" 2). 
0 I Ü I 


J d 

i Y 'AX iY BY HARM APE? AE AT X. Sylvester 方程 问题 . 
4A, Ag, B11 ,By 为 上 三 角 阵 时 的 情形 时 , 试 给 出 一 特殊 算法 . 见 
Kágstróm( 1994). 

7.7.5 oy ZALA, B). WAH A= (A - B) ! A HH B = (A - 
eB) B 的 特征 信和 特 入 向 最 与 4 — AB 的)” RHE RR. 

7.7.6 H A.B,C, DE "n GALE RI BRIERE Q. Z,U, Y 使 得 
Q'AU 是 上 Hessenberg PEM V'CZ,Q'BVY 及 VIDZ WHA t = f6 W | ERR 
W oR AC - ABD 化 为 Hessenberg =A. ROBE PREGA RR AC 
或 BD i AF A EHE. 见 Van Lown( 1975). 
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第 八 草 ”对称 特征 值 问题 


$8.1 性 质 与 分 解 

$8.2 FIERY: 

$8.3 SPR QR EZ 
$8.4 lacobi 方法 

$8.5. 三 对 角 方 法 

$8.6 计算 SVD 

88.7. —#0 MEE [n] 88 


B. fE X ae 55 t OT E F hl: (Er [uj Be SR h IV Hs 
H3 [5] £86 Z7 — . T Slo i8 BS a ERO IE PL ROEE LIS RE Toni 
Ea. AE $ 8.2.81 88.3 h k [E Y # Bh RIE, E SE 
中 在 对 称 QR 算法 ， 

在 $8.4 中 我 们 讨论 Jacobi 方法 ,这 是 文献 中 出 现 最 早 的 失 
阵 算法 之 -. 由 于 它 易于 并 行 化 和 在 某 种 茶 件 下 具有 高 精 放 ,这 种 
方法 近来 又 引起 人 们 的 兴趣 ， 

在 $8.s 中 对 三 对 角 情 形 给 出 了 不 同 的 方法 .它们 包括 二 分 
法 和 分 而 治之 技 号 . 

怎样 计算 奇异 值 分 解 在 88.6 中 详 述 .核心 算法 是 对 称 QR 
XE Ie ng HT Oo ff EE BS ETE . 

在 最 后 - 节 我 们 就 A ASMA B 是 对 称 正 定时 这 一 重要 
情形 讨论 广义 特征 值 问题 4r = iB7. 对 这 个 特殊 结构 的 广义 特征 
ÈR, BL 38 24 89 DIE pL AE FIER AS Q HERE CH S 7.7) 4E fE. 85 
it, UJU EU 89 7r d PL FH RTM EA AR XAR 
值 分 解 的 讨论 . 
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预备 知识 
需 用 到 第 一 章 , $2.1 一 $2.5 和 $2.7, 第 二 章 , $4.1 一 
$4.3,85.1— 85.5 和 7.1.1 小 节 的 知识 .在 本 齐 内 ,有 王 列 依 
W E: 
88.4 


8$8.1—-88.2—- $8.3—- 88.6—- $8.7 


88.5 
本 章 许多 算法 .理论 和 第 七 章 非 对 称 的 部 分 相对 应 .然而 , 除 
了 少量 概念 和 定义 外 ,我 们 处 理 对 称 特 征 值 问题 的 方法 在 读 第 七 
EZ A SL BESS 27. 
补充 参考 文献 包括 Wilkinson( 1965) , Stewart (1973) , Gourlay 
和 Watson (1973), Hager ( 1988) , Chatelin( 1993) , Parlett (1980), 
Stewart 和 Sun (1990), Watkins ( 1991), Jennings 和 McKeowen 
(1992), 以 及 Datta( 1995). 对 本 章 很 重要 的 Matlab 函数 是 schur 
和 svd. 与 LAPACK 相关 的 有 : 


LAPACK: ”对称 特征 值 问题 
所 有 特征 值 和 特征 向 量 
阿 上 人 恒 用 分 而 治之 求 特 征 庙 基 
部 分 特征 值 和 特征 向 量 
Householder 224 A fE 
Householder = ff (E CARE A) 
Householder = f (A FT fr 5) 


. STEQR — fü PE BJ BEC Ef A RE at CR. QR) 
__ STEDC — X ABE Pr HE A EJ 18 TS) 
__ STERF 780 ffs PEIE) PEL fp GE BA SE [5] BCA HR. QR) 
. PTEQR 正定 二 对 前 阵 的 所 有 特征 秆 和 特征 向 量 
. STEBZ OM FR ERIS apr TEUER CO TIED 

三 对 前 阵 的 部 分 特征 值 + 道 选 代 ) 
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Ceir eel — ————ÁÁ v a a m 


LAPACK: X BRE E PGE CL [S] 8 
. SYGST | A A AB (kS C - Ap 
| 


_ PESTF 4+ 8) Cholesky 分 解 
_ SRGST | # PBSTF 38 A — AB iE. S € — ÀI 


LAPACK: SVD 


_ GESVD  A-UXV! 
|. BDSQR 5E Do ffi PEE SVD 
|. GEBRD -ERER CUI ff E 


_ ORGBR POE TE 22 E 8 
LU # E AB E A A ít. 


LAPACK: F ZARR 
将 站 TA 一 :BTB LAHAT AA, -e BIB, 
计算 两 个 三 角 阵 的 GSVD 


88.1 人 性质 与 分 解 


在 这 一 节 , 我 们 陈述 一 些 所 逢 的 数学 知识 ,以 便 提 出 和 分 析 对 
称 特征 值 算法 . 


8.1.1 特征 值 和 特征 向 量 


对 称 性 保证 了 A 的 所 有 特征 值 都 是 实 的 且 有 一 组 正 交 特征 
向 量 . 

定理 8.1.1( 对 称 Schur 分 解 ) wR ACR "是 对 称 的 , 则 
存在 一 个 实 正 交 阵 Q 使 得 

Q'AQ = A = diag(A1,."', A, ) 

mA et k=1:n,AQ(:, E) AQQC ,点 ). 见 定理 7.1.3 

证 明 设 AEAC(A) 有 日 xEC* RE 2 范 数 下 的 单位 特征 向 量 ， 
Ar =A iz. FA =zHAz=<xHAHBry= Ar = A, BA A C. 
这 样 ,我 们 可 以 假定 z€ Rn. PER” B — Householder 阵 ， 
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使 得 PTr=e,=1,(:,1). HF Ar = àir ABA PLAP)) e = 
de, .这 是 说 PTAP, 的 第 一 列 是 el 的 倍数 .但 因 PTAP, 是 对 称 
E£ , 故 它 必 有 形式 
A, 0 
PTAP,-| 0 A. 
其 中 a, Re Xt) 1 是 对 称 阵 . 由 归纳 法 我 们 假定 有 一 个 正 交 
M Q1E uo D HB OTAQ = A, 是 对 角 阵 . 令 Q = 


Pi. o, RA - [^ A.) 及 比较 算 降 方程 AQ = QA MAIN 
可 得 到 定理 . E 
H 8.1.1 wR 
6.8 2.4 [0.6 -0.8 
7 > «2l m g= los il 


则 Q 424 BO! AQ = diag(10,5). 

我 们 将 用 记号 AQCADAEZIOUERPE A 的 第 个 最 大 特征 值 .这 
样 ， 

A,(A) S cc KAA SKALA). 
H 238 É BJ IE EEA A a AL | A (A)... 
“| A,(A)|] E. 
l All, = max{}a,(A) 1, LARLA) I] 

对 称 阵 的 特征 值 有 一 个 “ 极 小 极 大 "特性 , 它 是 基于 可 看 成 是 
二 次 型 比值 xTAzr/rirdE. 

定理 8.1.2(Courant-Fischer 极 小 极 大 定理 ) 

如 果 ACR" ATAR , ñi 


T 
ACA) = Y Y SER =n. 


Mex, min, yly 

证 明 Q'AQ =diag(41) 是 Schur 9A, HP A, — A,CAD, 
HQ= [qi q2, 7, q, 1. E X 
S, = spaniqi.*, gil 
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为 与 ,Ax 相对 应 的 不 变 子 空间 ,容易 证 明 


a VAY = nn WAY _ Tan = 
max min => min 一 -= ACAD. 
chien S) t Oey 5 viy T Weve 5 aly qiAgi pC } 


现 证 明 反 过 来 的 不 等 式 . 令 S 是 任意 & 维 子 空间 中 注 意 到 它 - 定 
与 维 数 为 n — +1 的 了 空间 | 和 gs ,esi 相交 ,证 y, = agga tn + 
angn 在 此 交集 中 , 则 


T T 
. A _- We Av. 
min >—— Sp RAMA). 
Wzye 5 yoy Vu Vix 


让 于 此 不 等 式 对 所 有 大 ABT RH) pR Az , i 


T 
. A 
: nin PAY c AA). 
dm(S)- kümyE S y ly 


央 此 定理 得 证 . 口 
如 果 a CIE" * EOM BRIE ce ME LI ACA) 20. 


8.1.2 特征 值 的 敏感 度 


对 称 特 征 值 问题 一 个 重要 的 求解 框架 包括 产生 一 列 正 交 变 换 
PEO, | EERE OTAQ, 逐步 “更 加 对 角 化 ”问题 自然 而 然 
产生 ,一 个 失 阵 的 对 角 元 与 它 的 特征 值 究竟 近似 到 什么 程 麻 ? 

EE 8.1.3(Gershgorin) i ACR” "4 Sake H Q € n x n 
ALAM. # OTAQ=D+F KY D-diag(di,,d,), B. F A 
霍 对 角 元 , 则 


ACA) cl) | d, = r,.di + r, | 
1-1 


HPs isiin, r= 5 i f; | . 见 定理 7.2.1. 
1-1 
HERA i ACA(ADO, ATRE- - 般 性 假定 对 i= ln Hd. 
HF COD -AL + F at, 5/2 2.3.3 可 知 
z 


~i fu — $ | fal _ __ k 
1« l(D-AD'F le = È gee ay = AX 
WHE k RLS Sn) HRA AC d, rdi nl. Oo 
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18.1.2 32% 
2.000 0.1000 0.2000) 
A = awe 5.0000 0. 3000 | 
.1000 0.3000 -— 1.0000! 
有 Gerschgorin A i} [1.7,2.31,[4.5,5.5]4e[ — 1.4, — 6] AE 
FEAL 1.9984,5.0224 和 - 1.0208. 
下 面 的 结果 表明 ,如 果 A PE PO EE 所 扰动 , 则 它 的 
TRAE (RE Ea EIL RE | E I. 
TH 8.1.4(Wielandt-Hoffman) 4A FATE X n Æna 
AR AE EF, Mi 


SVALA +E) SAO E EWS. 


1—1 
WEAR Æ Wilkinson (1965, 104 — 108 21) 3X Stewart 和 Sun 
(1991,189~ 191 页 ) 的 书 中 均 能 找到 证 明 . 也 可 参看 题 8.1.$， 门 


例 8.1.3 如 果 
[6-8 2.4) 和 E- [0-002 9.003) 
2.4 8.7 — (0.003 6.0014’ 


W] A(A)— 15,1010 ACA + E2—14.9988,10.0041 ,满足 
1.95 x 10 = |4.9988 - 5|? + | 10.004 - 10? S< | E Il 7 
= 2.3 x 10 `Š. 
定理 8.1.5 de X A PA t E Z n Xon Ba t BE. Ph] sp 
h=lin 有 
ACA) + A,CE) & ACA + E) S ACA) +A CE). 
证 明 ”这 串 由 最 小 -最 大 特征 值 定 理 证 明 . 参看 Wilkinson 


(1965,101 一 102 E) Stewart 和 Sun(1990,203 页 ). i 
8.1.4 X 
| f6.8 2-4) [0.002 0.003 
L24 8.2 0.003 0.0014" 
Y] aCA)=15,10},4 CE) = {| —0.0015,0.0045}, HACA+ E) — 


14.9988, 10.0042} ,满足 
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5 - 0.0015 sz 4.9988 = 5 1 0.0045 
10 — 0.0015 = 10.0042 = 10 + 0.0045 
PETE 8.1.6 XA m A E Z n x n WMA, WA L 1 7 


有 
A A FE) - ACAD | xz. || E Hl o. 
证 — HH (A+ E)- ACAD] =< 
max | | A,CE) [ACE r= || EI; [1 


M ie dr] MrE CUT 48 IL p SEC AE 8538. 

定理 8.1.7( 交 错 性 质 ) ARA C LIT RARE A, = 
(Lir iir), Be ralin 有 
Ani A, DS ALA) C A An EAA ) 


& ALA) 
证 明 Wilkinson (1965,103 — 104 915. L] 
H 8.1.5 如 果 
"11 1 r 
12 3 4 
A= 
i 3 6 I0 
-| 4 10 20 


W]A(CA,)7 111,ACA32— 10.3820,2.61801, A4 (Ag) = 10.1270, 
1.0000,7.873] , B ACA 42 = 10.0380,0.4538,2.2034,26.30471 . 

定理 8.1.8 it B—-A rcc, tP AC RAAE, cE 
c^ 是 2 范 数 革 位 向 量 且 rt 怠 2X 7,0 

AB) € [A LA), A, CAD], i=2:n. 
Ame r =O, A 
A,CB) € IAIA), ACAS], ¿= l: n-1. 
在 任 一 情形 下 都 看 在 非 负 数 mi, m, 使 得 
A; CB) = A/(A) 4 mir, : = |: n. 

mm FEL myte tom, = 1. 

证 有明 Wilkinson (1965,94~97 页 ) ,也 可 参见 题 8.1.8， C] 
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8.1.3 不 变 子 空间 


许多 特征 值 计 算 过 程 邦 是 将 原来 阿 题 分 解 成 许多 小 的 了 于 问题 
求解 .下 面 结 论 基 这 种 求解 框架 的 基石. 
定理 8.1.9 假设 A C nx n Hy SAR E B 
Q = LO, Q. ] 
为 正 交 阵 . 如果 ran(Q EnA -F % Pa] , 则 


LN Ü r 
T — _ 
Q'AQ-D-|. pl. ， (8.1.0) 
r HF 
J AGA)=A(D,.)UA(D,). 88 21 7.1.2. 
证 明 如 果 
| D, M 
TA 一 ， 
2 Ag Ea D 


WM AQ = QD ,我 们 有 AQ, — QD; = Q;Ez,. Hi T ran( Qu ) E: 4 
aE-T-23 8], Q5 E; fF) REEL YE ran( 81) 中 ,因此 与 Q, 920 5] E 
垂直 EN 
0 = QAQ; - Q D.) = QIQ En = Ea. 
所 以 ,(8.1. 卫 成立 . 易 证 
detl A — aA)= det( QAQ — AL) 
= det( D, — Al, )det( D; — AE,.,). 

这 就 证 实 了 ACA) = ACD U A(D.). D] 

不 变 子 空间 的 扰动 敏感 庶 依 赖 于 相关 特征 值 与 谱 中 的 其 他 特 
(MAM SA. TOR ERE B AC 的 特征 值 的 分 离 度 的 适当 度量 
由 下 式 给 出 : 

sep(B,C) = min [A - wl. (8.1.2) ' 


CAE 


由 此 定 浆 ,我们 有 
JERE 8.1.10 GRA PATE X n X n 对 称 阵 且 
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Q = OQ, Q- | 


” 
JE — ^E ran( Q XE A TETEE 22 B. BEE QAQ 
fo OTEQ 分 划 如 下 : 
D, Ü r E E r 
T _ Ty — 
g AQ K ples 9 EQ á A , 
r n FY P HF 
如 来 sept Di, D.) 0 A 


sep( D, , D 
| pj «EOD DU 


Bj FEE A x 
_— 4 qp, 
| P || 2S pD, D.) | Ez || ; 


的 矩阵 PCL Ore BO, = (0 + OPRU + PTp) 1⁄2: p| T 
XT ACE HRE EMH 2X E ,参看 定理 了 .2.4. 
证 明 此 定理 是 Stewart {1973) 定 理 4.11 的 稍微 改动 ,矩阵 
(I+ PP) l (I+ PIP BF h 0 S 4.2.10 $5. [1 
推论 8.1.11 车 定理 条 件 成 立 , 则 
dist(ran(@,),xan(Q,) )< =D) | Ez | 2. 
RAH 7.2.5. 
WEAR OFA Ay (53 SVD) ATE 
| P(E + PP) '? ||,< EPI; (8.1.3) 
H QJ 如 ;=P(I+ P"P) 12 可 得 
dist(ran(Qi),ran( QD) - I @7 0, ll. = |} POE PPP)? |, 
=< H P il,<4 l] Ey ll24ep(D,,D.). 0 
这 样 ,sep( DD ,D;) 的 倒数 可 认为 是 度量 不 变 子 空间 ran( Q ) BUR 
性 的 条 件数 


扰动 对 单 特征 向 量 影 响 非常 重要 ,对 此 重要 情形 我 们 强调 以 
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上 结论 . 
定理 8.1.12 i£ A PATE Z n X n SHEE 


Q= lq. Q) 
1 n-1 
是 正 交 阵 , 其 中 qi A OEE. 4 OTAQ fe Q EQ 分 划 如 
T: 
ren, [4 01 roa, fe e|] 
Q AQ = B Doe U Q EQ i P MI 
l n-i 1 n-1 


如 果 d= min |A- 4| 20 B 
ge A gs) 


IEl, <, 
则 存在 满足 
4 
I plas lel. 


的 pC R" RIG = (qu Qop)/ / 1C p Tp À + E 8 2 KF 


位 特征 向 量 . 而且， 

dist (span! g,l spani gii) 2 4 1 — (gi "NE <4 ll e lla. 
也 参看 推论 7.2.6. 

TEAR 应 用 定理 8.1.10 和 推论 8.1.11(r=1) 且 注意 到 如 采 
D, =p lll d = sep( Dj , D;). [] 


£5] 8.1.6 如果 A — diag( .999,1.001,2.) e 
0.00 0.01 0.01 

E= bn 0.00 zi 
.01 0.01 0.00 


8] OT(A + E)Q = diag( .9899,1.0098,2.0002) ,其 中 
—0.7418 . 0.6706 0.0101 
-| 0.6708 0.7417 a 
0.0007 -0.0143 0.9999 
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RERE. GG = De ,i=1,2,3, 于 是 ,3 是 A OE = e, 
的 扰动 .计算 表明 

dist | span{g )},span!g,}} = distlspan! gal span! gali = 0.67. 
这 样 ,因为 特征 向 瘟 qq 和 qo 对 应 于 相 邻 近 的 特征 慎 , 故 不 能 精确 
计算 .号 一 方面 ,由 于 41 和 1a 与 3 分 开 , 它 们 定义 的 二 维 子 空 间 
足够 不 是 特别 艇 感 ,这 从 dist |ispan i gi. qz i span iqq. g51] = 0.01 
可 以 看 出 ， 


8.1.4 近似 不 变 子 空间 


如 果 Q, CIR HN SATE ACK BME SCR REE R = 
AQ, - Q,S #8) WO, 的 列 阿 量 定 尽 了 一 个 近似 不 电子 空间 . 4 
有 了 这 样 - -个 短 阵 时 ,让 我 们 看 对 A 的 特征 系统 能 说 些 什 么 . 

定理 8.1.13 HACK" SE 2 r £ sik k H. 

AQ, Q S = Ej, 
其 中 QE "3x 010; = Í... 则 者 在 H1 ott tt, E ACAMER 
|| AMS) <SV2 Ella, t = 1: r. 

证 明 令 QER OCHE Q = [ Q, , Q: ] É IE S E É) T PE 

IERE. 可 以 推出 
rin TS 0 QTE, EiQ» 

orae = |, "AL ore 0 
于 是 应 用 推论 8.1.6 APITAR p= 1: n SB ACAD) - A, CB) | 
SD E|, H T ACSA CB) ,存在 picco p C ACA) REIS 

lie — ACSO | | E Mo, | &—1:r. 
注意 到 对 任意 xz CR’ iy C r "RNA 


IE 


E 
| sl J| < || Ez ll; + IE Q Il» 
y 2 


= || E; ll > ll riti E, lol y ie. 
RANA [| E l2 2 |] E, |; ARB IE. n 
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@J8.1.7 如 果 


6.8 2.4 0.7994 
4 [$8 24), o - [99 sepes. 
Ry 
AQ, ~ 0,8 = BOUE . 
— 0.0562 


定理 预示 着 A 在 以 5.1 为 中 心 ,W2 | E, 250.1415 79 38 6 89 40 
域内 有 一 个 特征 值 . ACA) = 15,101 TRA ER, 

定理 8.1.13 的 特征 值 范围 依赖 | AQ Q S |o. AeA 
Qi, PREAH ERE S 俩 该 量 在 Frobenius 范 数 意义 下 最 
小 . 

定理 8.1.14 de X& ACE 2 PARE H Q, € rs” r 685 3] 6 
EZ, 

nin (AQ. -QS lle = l(r-Q1QDAQi Ilr, 


H.S-QiAQ, ZR. 
证 明 令 QER” ORS Q = [Q ,. Q] 9 IEX EE, XJ fE 
SOR RNA 
| AQ, -QSiE= 1 QTAQ, -070S |+ 
= || QTAQ, — S| + || OF AQ, |. 
很 清楚 ,S$ = Qi AQ, 使 上 式 达 到 最 小 ， Hi 
这 个 结论 使 我 们 能 从 任何 -- 个 r 维 子 空间 ran Q OPER > 
个 “最 佳 的 “近似 于 特征 值 -特征 向 量 的 集合 . 
定理 8.1.15 it AC R^" yapa B Q C Er” ipa 010; 
= I, 
ZT(QTA0,)Z = diag(#,,.°",6,) = D 
是 QIAQ, 的 Schur 分 解 型 且 Q,Z— Ty, y. ] RISE £ lir 
l Ay, — 9&5 z= lr - 0,07)AQ, Ze, |; 
< IO- Q QT)AQ, l2. 
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iE BR 
Ay, — Uy, = AQ Ze, - Q ZDe, = (AQ, - Q (Q I AQ.))Ze, 
棒 边 取 范 数 E PTS UE . g 
EERE 8. 1.15 Bla, RRA Ritz (H, v, 称 为 Ritz MEE, (9. yg) 
R Ritz XT. 
n efi RE Q, 53J35UIn br Ay E SED fex Pr tE. DU +E FR 
8.1.13 的 应 用 更 广 . 旭 回 所 料 TRECE IE HEARS A 
EHE 8.1.16. HAGE "ARR B 
AX, 一 XiS- F}, 
其 中 X C un” B S= NT AX, he X 
XX, L| = r< 1, (8.1.4) 
WEE py, C ACA RAE k= 1,r 都 有 
| up — AO iz 426i Fido + (2€ 221 A 2). 
WEBH 7 X, = ZP E X, 0338 ATHE, uA 4.2.10 节 中 的 定 
义 , 这 意味 着 ZOE Pi ERMA PC Eee. -对 称 半 正定 
A P^- XIX, EFR 
E, = AZ — ZS- (AX, - X18) + ACZ-X,)-(Z-X,))8 
= F, + AZ(I - P) - Z(I - P)Xi AX, 


两 边 取 范 数 得 
| Ellas PF Fs lA al IT- PsC + |X, IS. 
(8.1.5) 
4E AO. 1.458 PK T 
X ASS ie. (8.1.6) 
HT Poa: F TERE CE + PRAHA 
[- P= (94+ P) !(pr- PP) = (I+ P) 1(] — XIX). 


hee |I- Pp l| r KERER. 1.6 A (1.5) 241] 
? || El; FI ot r2 2201 A |. ERE, ER] RT ay RE XH 
&.1.13CQ, AHER MR FE, 将 4 和 5$ 的 特征 值 联系 起 来 . 
HE Se FB g 


8.1.5 惯性 定律 


对 称 阵 A NOTRE Ab — dE f SS i BC Om m p) om, 
z Ap PRA ACABO 75 , 零 元 索 及 正 元 过 的 个 数 . 

定理 8.1.17(Sylvester 惯性 定律 ) 如 果 A Con "是 对 称 阵 
AXE "AE AHR A de X AX 有 相同 的 惯性 . 

WEAR BHA r AA,(A)>O, HEX EIRA 

So = Span X !q,,*:,X gl, g, #0 
其 中 Ag, =a;CA)g,.6= Er A ALCXT AX RRA BRERA 
A 
A,CXT AX) = max mi y GCAX)y ~ min 2 CX AX)Y 


min 


dim(5)— r y£ Š yTy T yc Sa yy 
由 于 
Tí vT 
y € gno X OC — V (xy, 
NON 
. QU T ja 
y € S> (x AX = A(X), 
MON 
可 推出 


| Tr ert T T 
A (XTAX) > min | pA AD ay (AD on (XY 
交换 A 5 X AX 的 位 置 ,可 类 似 推 出 
ALA) Z2 A,(XT AX)o, (X 12 = A,CXT AX) "a (X). 
这 表明 AL CAO 8I AL 【下 :4X) 有 相同 符号 ,这 样 我 们 知道 A 和 
古 ! 4 在 有 相同 个 数 的 正 特 征 值 . 若 我 们 将 此 结果 用 到 — A ,我 们 得 
到 和 TEXT AX 有 相同 个 数 的 负 特 征 值 . 显然 两 个 矩阵 的 零 特征 值 
个 数 也 一 样 . [] 
例 8.1.8 X A =Hdiag(3,2, — D)dfe 


rl 4 
x= jo 1 2), 
0 1 
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3 12 1! 
X'AX = |12 50 64 
15 64 8 


VAR ACXTAX)—1134.769,.3555, — .1252|. 


3 题 
8.1.1. ARATE i Ste ,证 明 一 个 2 关 2 BIDS ERAB PEZ Bie 28 
实数 . 
8.1.2 计算 4= | "|a sh 分 解 
sde = 2 3 ur - 


8.1.3 证 明 Hemi: SEE C AP — ADHERE ,对 本 节 的 每 定理 
及 推论 ,陈述 和 证 明 关 于 Hermit 阵 的 相应 结论 , 当 A 是 反对 称 阵 时 ,有 和 什么 
类 握 结 论 ? (ERA A O 4, 则 过 为 Hermit SP). 

8.1.4 WERE XER rin, A | XIX I| —r<1. Mo, (X21 
"CF. 

8.1.5 it A, E CIRC "JEU ORI E Schur HAE A+ tE = QDQ' ,其 
Pd£&d4T/EQ-Qo)EmD-D(OJEXT (CR HEA RRM. EHE DH) 
=diag( Q(t) EQCHD H PARERE EQ (1) 的 对 角 部 分 .通过 在 等 
式 两 过 同时 从 0 到 1 积分 并 联 Frobenius 范 数 , 即 可 证 明 Wiclandt-Hoffman 定 
B. 


| XD -DOl p <[ hein QC" EQG | =a: < LE | s 


8.1.6 证 明年 理 S. 1.5. 

8.1.7 EHEM 8.1.7. 

8.1.8 E CECR" MGI BM tr(C)= cl+… + ca T C 的 特征 值 
之 和 .用 此 结论 证 明定 理 8.1.8. 

8.1.9 证 明 车 BER"m*m 和 CER 为 对 称 阵 , 则 sep (B,C) = 
min || Bx — XC || :, 其 中 最 小 值 基 在 所 及"* "中 取 . 

8.1.10 证 明 不 等 式 (8.1.3). 

8.1.11 i ACR” AARRE, CER A) WEEK BLUE r En ,应 用 定理 
8.1.8,3& 3] 4+ CC’ 和 A 的 特征 全 之 间 的 关系 . 
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$8.2 HERE 


设 ACIR"” "Ae BRE A Uy COR"** WIE SEE, 考虑 下 列 QR 
eR: 
To = UL AUS 
for k = 1,2,-- 
‘ 471 = 


T, ] 一 UR, (QR 分 解 ) 


T, = R,U, (8.2.1) 
end 
由 于 T: = RU, = Uf CUR.) U, = UTT,- Us, HARE 
T, = (U,U,--U,)! ACUSU,-- U,). (8.2.2) 


这 样 ,每 个 T, EXHT A. MH, T, JUGE AERA A et f Br 
以 ,加 以 说 (8.2.1) 几 乎 总 是 “ 收 化 "到 A 的 Schur 分 解 .为 了 建立 
kB SO HS, PRAT AG ER RR BIE EEE. 


8.2.1 FR 


给 定 -- 个 2 范 数 单位 向 量 a0 C) ^ BARA 一 列 如 下 向 
B QU. 


for & = 1,2,-- 
eit} 一 Ag 
gt) = zl z") ||; (8.2.3) 
yf) 一 [gH ]TAg 0? 

end 


如 果 gU RSA LAE A 的 最 大 模特 征 值 惟一 , 则 ¿UD MW 333 
… 特 征 向 量 . 
定理 8.2.1 i ACR” "gak 
Q'AQ = diag(A1,*… ,4,), 
其 中 Q=(la. q, 1X £ X RE | Ay| > pile]. $ ÁF 


4 中 是 由 (8.2.3) 得 到 且 定 义 0,€ [0,7 |a; 


cos( &) = lata“ |, 
Æ cos( 09) 2^0 , Hi 
A; | š 
ài 


| sin( &,) | <= tan( 9g) i 


; (8.2.4) 


Ao AE 


l 


(8.2.5) 


|a) — ail |A r An | tanC Y? 


= 472 Li 


证 明 HERE gO Agt HER. 
| | q1 Ag” 2 
IA ® ila) 


|sin(@,)(? = 1— (gigi? = 


如 果 g 避 有 特征 向 量 展 式 vt = «yg, +--+ ag, M 
lai] = lata’ | = cos( 64) >= 0, 
ai + un + a? = 1. 


HB A540 = aia gir abg t t aA, 于 是 
e 2, 2k 
2k Dani 


-2 


| sin( &) |” = l- m ~ = 
N 2 2k 24 2k 
Sata M a4; 


Y 2, 2k 
A: n 2È 

NAMES ETE 

aiai ifi Aa 


这 证 明了 式 (8.2.4), 类 似 地 
(0) ]T 4 241,0) Dani 


ate = [q JT Ag = [gO] A200 一 a 
Siaha? 
z=] 

于 是 


Saa GO; — A1) | < 
= (« ja al ba 
Li-2 1 


"n 
` 
aA? 


r=1 


la^ _ A | = 


A 
< [Ar 7 A nC A? 2) 
+ 473 « 


fA 8.2.1 
— 1.6407 1.0814 1.2014 1.1539 
1.0814 4.1573 7.4035 -— 1.0463 
1.2014 7.4035 2.7890 — 1.5737 
1.1539 — 1.0463 - 1.5737 8.6944 
的 特征 值 由 hf4)= 112,8, 4, 21 h. #(8.2.3) S ALE 
阵 , 令 g= [1 0 0 0]T, 3j 


| 
10.3163 | 11.9534 
11.0663 0 | 11.9792 
11.5259 | 11.9907 


ii3dk 2] L ik 3. | ALA, | = (8/12)? = (4/9)* Wk &k 8] A, = 12. 
利用 定理 8.1.13 EIA B9 TEE 2E PI. p e 

| Aq? _ AP) gle l; = §, 
MIFE AG ACA BH AM - A 18 /28. 


8.2.2 JEA 


BERERE PHA 由 (CA — AT) HRE. 如 果 a 很 接近 A 的 - ` 单 
根 ,; 刚 下 一 个 先 代 向 晤 在 相应 的 特征 方向 的 成 分 就 非常 多 . 


二 Ylaqi n a: 
I Fa -AD x = 2i — e 
Aq; —-Ag;,i-]l | m] PRX 
这 样 , 老 ARA; Haa; 不 是 太 小 , 则 在 9 FH E IK p] BL 8 ~~ BRD 
量 . 这 个 过 程 称 为 道 选 代 日 震 要 求解 以 4 - AE 为 系数 的 线性 方程 
组 . 
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8.2.3 Rayleigh Riz 


设 ACR” "EWR H x 是 一 给 定 的 非 堆 2 维 向 量 .简单 的 
求 导 数 就 发 现 
A=r(x) = = Az 
xor 
f& || CA — AD ox ||; EIR CB REGERE 8.1.14). flt r(x) 称 为 
x 的 Rayleigh Ed. BRA x 是 近似 的 特征 向 量 , 则 r (z EH 
应 特征 值 的 较 好 估计 . 把 这 个 思想 与 道 选 代 结 全 就 得 到 Rayleigh 


商 选 代 ， 
EE xq, ll xo llo 71 
for = 0,1,-- 
HE = r(x,) (8.2.6) 
RECA —- peel zea, = xe za 
teri = pai’ |l zest ll 2 
end 
例 8.2.2 3(8.2.6) & FI $1] 
1 1 1 1 1 
3 + 5 6 
6 10 15 21 
A= ， 


PE 
Oo 4 ou b 
e 
c 
b 
= 
U) 
cn 
un 
c 


21 56 126 25 
/6 , Wi] 


= 


其 中 xo=11,1,1,1,1 ,1] 


13.8687 
15.4059 


153.8333 
120.0571 


MJ B & | m 


15.5534 


49.5011 
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3k AR 4k $l A AEA À = 15. 5534732737. 

Rayleigh Ra 3k JL F i Bt n oe, 4 ae Smp, Ho 38 ORE OS = 
次 .我 们 演示 n —2 的 情形 .不 失 一 般 性 ,我 们 可 假定 A =diag(A,, 
Ao), Ki! A42 A4. il x, 为 


CR 2 3 
n= | |. (í + s; =l. 
Sa 
可 以 得 出 (8.2.6) 中 的 = A cz + Arse, H 
1 [cg “st | 
v = v—— | 
Kas Ay - Az) - s cŠ ) 
计算 表明 
3 i 
Ch — S . 
Chil = —— c5 Sk — ^ - oo: (8.2.7) 
fees sh C dis 


Max HE AE SCIB RAS BU AE | ce | Al seis ce VE CSR spanie ERR 
spaní ezt. 


在 Parlett (1974) 中 可 以 找到 Rayleigh Bg xk fX B. 1k 3E LAY 2 


+- 


H. 
8.2.4 正 交 选 代 


REWARD UAHA RARE SS. or 是 一 选 定 
满足 l<rsin HBR. P E T ax = HST SE Oy, Eee 
RAE 4 SE F— bB E IO. IC Rar; 

fo k —1,2,- 
ze = AQ, (8.2.8) 
QR, = =, CQR 分 解 ) 
end 
注意 到 如 果 + =1, R EERS. WA. e iSi sg(0)- 
Qoe: HEE ERIE EAT. 

为 了 和 分析 {8.2.8) 的 表现 , 设 

Q'AQ = D = dag(AD, [àil = [àa] E e = |As] (8.2.9) 
f 476 7 


r 
rr ppr llla barr a jt aaa — — m S RSS er 


ACI” "Hy Schur 分 解 ,将 Q.D 分 划 如 下 : 
D, 0 1r | 
Q = Q. e | D = | 0 pl, 2. (8.2.10) 
EJA > [Apes] , 则 
D. (A) = ran( Q,) 
是 > 维 的 主 不 变 子 空间 .这 是 与 特征 值 41,…, A, 相对 应 的 惟 -不 
变 子 空间 . 
下 面 的 定理 表明 了 在 合理 假设 下 ,由 (8.2.8) 产 生 的 于 空间 
ran Q ORRA ZA, | RAAD, (A). 
定理 8.2.2 $ AC UI "(n222) 88 Schur FB H (8.2.9) 9 
(8.2.10) k, 4& | AL | > ALL LE n Xr O, | (8.2.8) PT 


定义 .如 果 0c[0,z72]95 X 
Ty | 


Iv) 
cost) = „énta Lele ll vllo > 0. 
vE rent y 
Acsi]? 
M disc( D, CA ) . ran( Qu) Stant 8) I .参见 定理 7.3.1. 


证 明 由 归纳 法 可 证 
A*Qo = Q,CRy 7 Ry), 
且 由 (8.2.10) 的 分 划 我 们 有 


T T 
| i Ü ee = PCEN 


0 mile.) Lo, 
Qu rv 
T — — — 
如 果 QTQ,-[Q,.Q51Q, = x =| "| 


cost Prin) 一 a, ( Vo) =/1- | Wo l3, 
dist(D,(A),ran€Q,)) = | Wi Ilo, 
DÅ Vo = V,CRé Ri), 
DAW, = W,(R,- R I). 
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ee we ee ee ee ee mamawa dd n I t 


由 上 可 知 Vo 非 奇 异 ,这 说 明 V, A R R  )1E3E r Fë . 这 样 
W,= DSW,(R,-Rj) ! = Dh Wol V; 'D i Vo)! 
= Di WoVo'Di* V,. 
al 
| w dos || DS llo Tl Au Vo! NN V, |l; 


Ë 
x | Apa! *sin(@) .D 


A 
= tan( 8) | u 


sx) ix |^ 
98.2.3 #(8.2.8) Æ B| $1] 9| 8.2.1 OE, Su -—2 H. Qo 
= I4C:,1 : 2),R] 


2 0.409] 

3 0.1121 0.0010 
4 0.0313 0.0005 
5 


0.0106 


8.2.5 QRIEK 


考虑 当 ”*= 闫 时 正 交 先 代 法 (9.2.8) 会 发 年 什么 . 令 QTAQ = 
diag(t Àj, A, Æ Schur 分 解 ,而 且 设 
|ai|> |a2| > … > fa, |. 
MR Q =[q i. q J.Q [2 ge IBEX i=in -18 
dist(D, A) ,span[gf? ,--,999 1) 1. (8.2.11) 
则 由 定理 8.2.2 RIA 


dist (span| gq1*), ge ,spand gl 于 |) 
= of |e \, i=lin-t 
这 说 明 由 
T, = QiAQ, 


定义 的 矩阵 T, KAAN. RE AR r= BARER 
阵 Qo € R^*""1E(8.2.11) BX F AB EB, EZERA EE 
Schur 4r fff . 

考虑 怎样 直接 从 TT _| 计 算 后 一 个 矩阵 T, 就 得 到 了 ORR 
法 .一 方面 ,由 (8.2.1) 和 T;_; 的 定义 得 到 

T, , = QAQ- = QE (AQ, = 一 《Qt1QA)R 
另 一 方面 ， 

T, = QÍAQ, = (QiAQ, -1)( 7-104) = R(Q LQ). 
这 样 ,计算 T, (BU ORAR, AEA eB RR OK 
就 得 到 了 T,.XX fH EERCS.2. DB Se 

18.2.4 若 QR 先 代 (8.2.1) 应 用 到 例 8.2.1 HEM, RB 10 
次 迭代 后 
11.9907 -— 0.1926 — 0.0004 0.0000 
— 0.1926 8.0093 — 0.0029 0.0001 
— 9.0004 — 0.0020 — 4.0000 0.0007 

0.0000 0.0001 0.0007 -2. 
T, 的 非 对 角 线 元 素 收 效 到 零 的 情况 如 下 : 


Tip = 


k 17,€2,0)1 IT,G.DI | Tet4,1)| | T40(,2)] 17,041.22] 17444,3)] 
1 3.9254 1.8122 3.3892 4.2492 2.8367 1.1679 
2 2.649] — 1.2841 2.1908 1.1587 3.1473 0.2204 
3 2.0147 0.6154 0.5082 0.0997 0.9859 0.0748 
4 1.6930 0.2468 0.6970 0.0723 0.2596 0.0440 
5 1.2998 0.0866 0.0173 0.0665 0.0667 0.0233 
6 0.9222 0.02999 0.0030 0.6405 0.0169 0.0118 
7 0.6346 06.0101 0.0005 0.0219 0.0043 0.0059 
8 0.4292 0.0034 0.0001 0.0113 0.0003 0.0015 
9 0.2880 0.0011 0.0000 0.0057 0.0003 0.0015 
10 0.1926 — 0.0004 0.0000 0.0029 0.0001 1.0007 


注意 ,一步 QR BRE O(n?) T flop. 而 且 , 由 于 收敛 是 线性 的 
. 479 ， 


一 pi — OW lYPRN.,.VƏIT.WIDYINAZ⁄.DI£ÜDÜW,II£Ə£I£nLAIELIÉ.zIÜV9-I.WIWXI9I)IA.IÉR | 


CH e AK FETERS ) ,很 明显 该 方法 用 来 计算 Schur 分 解 其 代价 昂贵 
的 不 能 接受 . 太 运 的 是 ,这 些 实际 困难 能 够 芭 服 ,于 一 站 我 们 要 证 


明 这 一 点 . 
>] 题 
8.2.1 UE AQCR"" "ARR Baik se ,考虑 下 列 夺 代 : 
for b = l,2,- 
Ai = GGE (Cholesky 288) 
Ag — GIG, 
end 


(a) EPL HE LB ARS EX. (b) DEU A | “| 有 特征 值 ARA, 


> 以 其 中 alec) M A, Hea BRT fl EE diag(a,,az). 
8.2.2 uEBHH(8.2.7). 
8.2.3 r AC R "EX AR E E XE fo Rn Ig 


s *| _ | Ar 一 Ar ] 
af Cals - pal 
其 中 z€ HAC E r1 和 + 是 应 用 牛 辐 法 于 了 在 x A, PES 


“em AT pe E AR a + 和 + 的 表达 式 . 设 ‖| z |o= 1 R A= 
rlAz,. 


本 节 注 释 与 参考 文献 
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Nennormal Matrices," Math. Comp. 28, 079—693. 

R. A. Tapia and D. L. Whitley (1988). "The Projected Newton Method Has Order 17 
42 for the Symmetric Eigenvalue Problem,” SIAM J. Num. Anal. 25, 1375—1382. 

S. Batterson and J. Smillie (1989). “The Dynamics of Rayleigh Quotient Iteration, " 
SIAM J. Num. Anal. 26, 624—636. 

C. Beattie and D. W. Fox (1989). "Localization Criteria and Containment for Rayleigh 
Quotient Iteration,” SIAM J. Matrix Anal. Appt. 10, 80—93. 

P. T. P. Tang (1994). “Dynamic Condition Estimation and Rayleigh-Ritz Approxuna- 
tion," SIAM J. Matrix Anal. Appi. 15, 331—346. 


88.3 对称 QR 算法 


有 两 种 方式 可 使 对 称 QR 迭代 (8.2.1) 非 常 有 效 .首先 ,我 们 
HHEH- -PEZE U fif ULAU — T ASAE. AT XX 
一 变换 ,(8.2. 切 产生 的 适 代 矩阵 都 是 三 对 角 阵 ,使 得 每 步 工 作 量 
为 O(n?) flop. FEU , WY FALE SUE . 用 此 技巧 . 收 伍 到 对 角 型 的 
速率 是 立方 .这 比 在 8.2.5 小 节 中 讨论 的 使 非 对 角 线 元 素 以 
| air1AAi|* 的 速率 化 为 零 的 方法 变 好 得 多 ， 


8.3.1 化 为 三 对 角 阵 


如 果 A 对 称 , 则 可 以 找到 一 正 交 阵 Q 使 得 
QTAQ = T (8.3.1) 
为 三 对 角 阵 .我 们 称 此 为 三 对 角 分 解 . TE 2235 E 38 LIC yE SH x] 
角 化 天 出 了 很 天 一 步 . 

我 们 现在 来 说 明 怎 样 用 Householder Æ HRH R (8.3.1). iZ 
Householder FF Pj, °°, P- B age, HRB AL; = 
(Pu Py) A(P i: P; W 

By, Bi O0 |k-1 
Ay-| = D By s. 1 
Ü By Bajn—k 
k-1 1 其 一 是 
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Wat 2-1 p|32 Z fa E. RP, dk — Ë AS Householder 4B [E 
使 得 PiB3 是 r, (l ,1) 之 倍数 而 且 P, = diagC I4; P,) T 
By, Bi; Ü k-i 
A, = PA, 4,P, = |Ba Bo B», P, 1 
0 PB P,B4P,imn - & 
k-l 1 n-k 
Woe LAM RX 主子 阵 为 三 对 角 阵 . BRA Uo = Pi… PP, .2， 
则 UAU = T AZIRAR. 
在 计算 A, BEALE RRP BP, 时 充分 利用 
对 称 性 .精确 地 涪 , 设 Pl 有 如 下 形状 : 
P, = I- foo’, B —2/w'v, OH vC R"*. 
注意 到 若 p= BB. o Hw-p-(plo/2)v.N 
PBa P, = B4 一 vw! 一 wv. 
AT Amite eee F = eae. TETTE SI SERRA A, Bl A; 
的 变换 只 需 4(n — k)? 个 flop. 
算法 8.3.1(Householder 三 对 角 化 ) 给 定 一 对 前 降生 所 
RX? 本 算法 计算 T= O'AS fi Š A. OF T 32 Z *F ñ, Q = 
H H, -vÆ Householder £ 4& z ÉR. 
for k—1:n-2 
[v, 8] - heuse( A(£ * 1: n , £)) 
p-BAC(Ek - I: n,ktl:n)v 
w-—p-(Bplv/2)v 
A(k t 1,8)— || A(k tiin, k)i ACh k += A(& * uk) 
A(ktT:in,ktln)-A( +t iEn, kt n) we — wwl 


end 
当 计算 秩 2 修正 充分 利用 对 称 性 时 ,算法 需 43/3 个 flop. 和 矩阵 Q 
以 分 解 形式 储存 在 A 的 次 对 角 线 下 面部 分 .如 果 O SOR INR 
额外 的 4233 个 flop. 
例 8.3.1 
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i 0 o'r 347 0 0 1 5 0 
0.8 O. 4 8 0.8 - Q0. 1.76 — 5.3 


注意 ,如 果 T EROS ff oo y REE EB 4E 29 P3 AP ^] SE BE [8] RE. 968 
切 地 说 , 若 tes yp 70,  ACT)—-ACTOL:R,I: EOUACTÓR +1: 
n,ktlin)).X; T UB EDS füru EER Ze. 


令 休 为 算法 8.3.1 所 得 到 的 工 之 计算 值 .可 以 证 明 全 = OT 


(A+E)O K'PoR RAW ERE, I E EWEIE!Ig 
la 上 之 对 称 阵 ,这 里 c 是 小 常数 . Wilkinson (1965,297 90). 


8.3.2 三 对 角 分 解 的 性 质 


我 们 来 证 明 关 于 三 对 角 分 解 的 两 个 定理 ,它们 在 之 后 将 起 关 
键 的 作用 .第 一 个 定理 将 18.3.1)7 和 基 一 Krylov 矩阵 的 QR 分 解 
联系 起 来 ,Krylov ÆRA EA 

K(A,v.k) -lv,Av.,-,A* tv], AC R>" o ER” 

定理 8.3.1 # Q'AQ = T Xj STAR BE A € RHA RAS 
8.8) OTKCAIQU D.) R X3 k Z 88.32: R ETH MT 
Xp ER FJ Bry =0 MRR Bod dE ru 
为 零 的 最小 指标 , 见 定理 7.4.3. 

证 明 显然 ,着 q = QC: ,1), 则 

Q'K(A,Q(:,1), 2) 
-[9lqi,(Q'AQY(Q'a (0 AQ)" (QTal)] 
=[ e1, Tel, T7 Je, | = R 
是 上 三 角 we ry =1 AM i=2:n WA ra = tatg l 2B 
然 , 若 RIGHT ADA. AR GHA ri 是 其 第 一 个 为 零 对 
fú A 222 H £,, -1 是 第 一 个 零 次 对 角 元 . [] 

定理 8.3.2( 隐 式 QQ 定理 ) BE Q — [qug iV 

[01,7 v, E iE 845 f QTAQ =T de VIAV= S 为 三 对 角 阵 ， 
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Lm Cp rr, 


其 中 ACR SARE. Sk ARR =O MR ERR. T 
Ap £p Behe n. 35 u, = qi. B] v= +q, Hlnial- 
[s |. SZR WH E n, NI sa 70. REE 7.4.2. 

WEARS EEE W—Q'VOETERSEIWC,D T L (: ,1)= 
e; H WTW = S. HEB 8.3.1, WIK(CT, ei, Ë) J& S| Wi #& BJ _E 
三 角 阵 .得 K(T,e bk) E E = RE, ix HA QR Zt Ah E” 
的 惟一 性 知 

W(:,l: b) = £,0:.1: &)diag(+ 1,77, £1). 
BUM = 1: ,Q(:,i)= + VC. AF ti, Qui 
DAQC, Hf sai VE, tI AVC, Dim En-l XT 
次 对 角 元 案 之 论述 由 此 而 知 . Ü 


8.3.3 OR KIC Eo fade EE 


3&1] Bed d SOR XT. QR ETUR CO AR 4 个 事实 . 完 
整 的 证 明 是 很 简单 的 . 
1 .保持 原型 E T= QR 是 对 称 三 对 角 阵 TER"** 的 QR 
分 解 , 则 Q@ 有 下 带宽 为 1,R 有 上 带宽 为 2, 而 且 
T,= RQ = Q '(QR)Q = Q'TO 
也 是 对 称 三 对 角 阵 . 
2.4%. #sCRA T-st=QR E QR 分 解 , 则 
T,= QR + sJ = Q'TQ 
也 是 三 对 角 阵 .这 称 为 位 称 QR 步 ， 
3.34208. + 了 是 不 可 约 的 , 则 无 论 s B p T — sl 
的 前 rn -TI 列 线性 无 关 . 3X £F, BE. SC ACTOR. 
QR = T - sI 
是 QR 分 解 , 则 +,=0H T, = RQ + SI BJ Et — 9] + 
sI,(i,n)—se,. 
4. 运 算 量 . ETEK EC CHAR, WEA QR 分 解 可 由 
下 列 nr 一 1 个 Givens 诈 转 变换 计算 得 到 : 


for k —1:»-1 
[c,s] = givens (tu, 24.4.4) 


m = minik +2,n} 
C a 工 
T(kik+1,k:m) =| | TO Lu m) 
一 3 C 


end 


这 需 O(n ) 个 flop. We $e yE Pes BOR H WUA O( n?) flop. 
8.3.4 显 式 单 步 位 移 OR IER 


AR s 是 一 个 很 好 的 近似 特征 值 , 则 我 们 期 望 用 位 移 s 进行 
一 次 QR 选 代 后 (aa 一 1) 元 会 很 小 . 这 就 是 下 列 选 代 中 的 基本 思 
想 : 

T= UAU, (XH) 

for & —0,1,:- 
REKER p, 
T —ul = UR (QR 分 解 ) 
T = RU + pl 

end 


(8.3.2) 
如 果 


. 4 
". b, i 
b, Gu 


则 位 移 的 一 个 合理 选择 是 u = io, 然而 一 个 更 有 效 的 选择 是 用 


Gy -1 bn ` 
; [Rie a, 的 特征 值 作 位 移 . 
n-1 an 
这 称 为 Wilkinson 位 移 , 它 由 

f= a, + d — sgn( d) d? + b? , (8.3.3) 
给 出 AC ad = Ca, -1 — a, ) 72. Wilkinson (1986b) E HEAR (8.3.2) 


T(n-1m,n-lim)-| 


YE SE Ah BEER ERR ABA 7r ET BT 2, di 


好 (8.3.3). 
8.3.5 Bar 


Tub AE RERE T et 就 能 实现 从 了 到 了 , = RU + GI = 
U' TU 的 变换 ,这 在 位 移 比 某 个 a, 大 很 多 时 有 优点 . S 


cosf8y 和 =sinfb) 使 得 


这 样 , 只 要 我 们 能 计算 旋转 阵 Go, 
Z= GG; 


B Vy J- ol 


G, - j Ze, = 


By EU RE Q EM. 
注意 ,只 要 我 们 使 每 个 G G;—-G(i,*1,0),772:n — 
1 , 则 Z 和 的 第 一 列 是 相等 的 ,而 这 种 形状 的 矩阵 G; 可 用 来 将 


T -—G]TG, = 


x x + 0 0 0 
x x x Ü Ü D 
+ x x x Ü 0 
0 0 x x x 0 
0 0 0 x x x 
0 0 0 0 x x 


G, -1 使 得 具有 如 下 性 质 , 知 


Gel = Ue, 和 ZITZ 是 三 对 角 阵 ,就 


SR HAS ARE HE GIT TG: 
x x 000 O x x 0 0 0 O 
x x x x 0 0 x x x 0 0 0 
G |0 x x x Ü Oj) G |0 x x x + D 
EM Ü x X X Xx 0 ~ 0 0 x x x 0 
0 O0 Ü x x x 0 Ü + x X X 
0 0 0 0 x x 0 0 0 0 x x 
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x x 000 0 x x 00 Q0 0 
x x x 00 0 x x x 0 Ü 0 
G [0 x x x 0 O| G |O x x x 0 DO 
EM 0 0 x x x + mM 0 0 x x x Ü 
0 0 0 x x x 0 0 0 x x x 
0 0 0 + x x 0 0 0 0 x x 


YX ff , H Ba Q AE EE n] 18 H  , H X 15 Br p= 4 d = E fi 
ZI TZ 和 用 显 式 方法 获得 的 三 对 角 阵 人 本质 上 是 一 样 的 . (我 们 
可 以 假定 所 有 涉及 到 的 三 对 角 阵 都 是 不 可 约 的 ,否则 问题 可 以 潍 
Er). 

注意 ,在 乏 稚 过 程 的 每 一 步 ,只 有 一 个 非 零 元 在 三 对 角 线 之 
外 .这 个 非 零 元 在 变 挽 T -———GlITG, 下 向 矩阵 右 下 方 移动 如 下 所 
m 


1 0 0 OT [ae & zm 1 000 

0 c s 0 |& a, b, O10 s Ü 

Ü -s c O| iz; 5, a, B10 -s c 0 
0 0 1 0 0 & a, 0 1 

a & Ü O0 

b, ap by Zp 

0 b a, b, 


Ü zp b, a, 
ikH:(p,q,r)-(k -F1,k *2,b +3).—H c fits BA SEX bs + zc 
-0 抉 定之 后 ,此 变换 大 约 需 26 个 flop. 总 之 ,我 们 有 下 列 算法 ， 
算法 8.3.2( 带 Wilkinson 位 移 的 隐 式 对 称 QR 步 ) 给 定 一 
BT AMS Rt AE TOR" ,本 算法 计算 ZITZ ARAT, 
其 中 Z-Gr-G, X Givens 旋转 阵 之 乘积 ,具有 性 质 ZT- 
EDALZAP HR p 是 TT 右 下 角 2Xx2 阶 主子 阵 的 最 靠近 + 之 
征 值 . 
d = (tua — ten )72 
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HOT tran 一 Bal (d + sign( d ) V d 4 jua) 


xoci oH 
z = i4 
for k-1:n»-1 
[c,s] = givens (x, z) 
T = GiTG, HP G, = G(k,k +1,0) 


if k< n-li 
T = fa 
X = 2 
end 
end 


这 算法 沉 大 约 302 个 flop RK an PEAR. A-REEZE Q 

SEQG,--G, ., BS, WT Gat 个 flop. 当然 ,在 实际 编程 

中 ,三 对 角 阵 TORRE T n SETA nox n 维 数组 中 ， 
例 8.3.2 如 果 算 法 8.3.2 应 用 到 


4 1 0 
| [12 1 0 
Plo | 3 0.01 
lo 0 0.01 
则 新 的 三 对 角 阵 T 由 如 下 给 出 
.5000 0.5916 0 0 
_ 10.5916 1.785 0.1808 0 
i 0 0.1808 3.7140 0.0000044|' 
0 0 0.0000044 4.002497 
算法 8.3.2 是 对 称 QR 算法 (计算 稠密 对 称 矩 阵 的 Schur 分 
解 之 标准 方法 ?的 基础 . 


算法 8.3,3( 对 称 QR 算法) S X ACR “OEA 
比 会 入 误差 单位 大 的 允许 误差 tl. 本 算法 计算 一 个 近似 对 称 
Schur 分 解 Q'AQ- D. A Z 5] fm MAAS. 


— —- re rp gp pee, E 


用 算法 8B.3.1, 计 算 三 对 角 化 
T-(PycP, 2)'ACP, 7, Pa 2)- 
4p-T.£Q€X.Q-Pyr-P,. X5.1.6 $. 


until ç — = 
*i-l:n-l, dja Fd i1 EV 
Idi 1diiulsitd(ldalo | distal) 
找到 最 大 g 和 最 小 记 使 得 若 
Dy, 0 0 b 
D=10 D, On PP q 
0 0 D; q 
p np rq q 
则 D4429 5] F B. Dy 是 不 可 约 的 ， 
if qn 


D = diag(I,,Z,1,)'Ddiag(I,.Z,1,) 
车 需求 Q, 则 Q= Qdiag( I, Z, L). 
end 
end 


如 果 需 求 出 Q, RREA 9x5 个 flop ,否则 约 需 人 n? 个 flop. 
(48.3.3. 设 算 法 8.3.3 应 用 于 三 对 角 阵 


1 2 Ü D0 
2 3 4 Q 
A= 0 4 5 61 
0 0 6 7 
在 执行 算法 8.3.3 时 ,次 对 角 元 素 变 化 -如 下 : 
选民 an ay 43 
1 1.6817 3.2344 0.8649 
2 1.6142 2.5755 0.0006 
3 1.6245 1.6965 107? 
4 1.6245 1.6965 Ir 24 
5 1.5117 0.0150 
6 1.1195 107? 
7 0.7071 pr 


X ALLES) ACA) = | — 2.4848, .7046,4.9366, 12.831}. 

由 算法 8.3.3 得 到 的 特征 值 1. 是 和 BIER — T RSE 
值 , 即 OF (A + E) Qo =diag(A;), HF QjQo = I H || E llo 
ull A 1 > 用 推论 8.1.6 我 们 知道 在 1 一 ,| zw A 中, 意义 下 


每 个 A; 的 绝对 误差 很 小 .如 果 Q — [01.7.0 ] 是 所 计算 的 下 交 特 
ERRA RAER, Wg 的 精确 度 依赖 于 1; A TR 
ROBE. 见 定理 8.1.12. 

如 果 需 要 计算 所 有 的 特征 值 和 部 分 特征 向 量 , 则 在 算法 
8.3.3 中 因 不 累积 Q 而 变 的 更 廉价 . 所 需 的 特征 向 量 改 由 T HE 
迭代 计算 . 见 8.2.2 节 .通常 只 一 步 就 能 有 效 地 得 到 一 个 好 的 特征 
向 量 , 即 使 初始 向 量 是 随机 给 的 . 

如 果 仅 需 少 量 岂 个 特征 值 和 特征 向 量 , 则 在 $8.5 节 中 有 一 
些 合适 的 专门 方法 . 

有 趣 的 是 ,Rayleigh AAAI QR 算法 之 间 有 一 种 联系 . 
设 我 们 应 用 后 者 于 三 对 角 阵 TCR", RUE a= elTe, = tu E 
he —1G,n). S T — al = QR. WRIA T = RQ + ol. 从 等 式 
(T-aDQ = R! 得 到 

(T - oan = ras 
其 中 q 是 正 交 阵 Q 的 最 后 一 列 .于 是 ,如 果 我 们 应 用 (8.2.6)， 
取 zo e, W z = g- 


8.3.6 FA Ritz MBAS 


回忆 8.2.4 ANA) ME 62846 tu fi — T 7B REESE BUNL— + QR 
分 解 ; 
Z, = A- Qi 
OCR， = Z (QR 分 解 ). 
定理 8.1.14 说 明 通过 令 $= 5, 二 14 OH 1 A Q- OS Ie 
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一 -一 F ree r 


Be). i UIS,U, = D, RES, C R' ^" Schur 分 解 日 Q= OU, 
by] 

| AQ, - QD; | p = I| A Q, - OS M =. 
这 表明 ,从 余 量 最 小 的 观点 来 看 ,上 PQ, EPI) E T e DG E ix 
Re MT Ritz 加 速 思 想 : 

QER”, QTQ =L. 


for k=1,2, 
Z, = AQ, -1 
Q,R,-Z, (QR 分 解 ) 
Si = QTA Q, 
UISQU,—-D, (Schur 分 解 ) 
Q, = Q,U, 

end 

能 够 证 明 ,如 果 


D, = diag( 有 有 8 的) | (P | > | 669], 
则 


Arti 


À; 


回顾 定理 8.2.2 n. OTA 0 的 特征 值 以 速率 |4,4174,1* ok. x 
样 ,Ritz (AW BRA) x BF 2 oR , 详 见 Stewart (1969). 
63.3.4 X ATE (8.3.6) F 


|ef? ~ 2:(4)|= of ‘), i-1:r. 


00 1 1 1 1 
199 1 1 0 1 

A= y — + 
1 12 1 eco- |o o 
1 1 1 1 


则 
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M cm —. I nV ................................ U. T. 1... = — a 


disti DC A), (9,1 


dist] D: (A2, Qal 


= 


0.2x 107! 


0.5x 10 3 4 ü.8x10 5 


Q.tx10 * 


显然 ,收敛 速度 为 (2/99)”， 


习 题 


8.3.1 BRA 是 对 称 三 对 角 阵 了 的 特征 值 . 证 明 , 若 1 ARRERA R, 
则 了 的 次 对 第 元 素 至 少 有 下 ~ 1 PAS. 

8.3.2 设 上 为 对 称 阵 . 旦 有 带宽 户 .证 明 , 若 我 们 执行 带 位 移 QR 3 A 
-a= QR,A = RQ * ul UA ABE p. 

8.3.3 设 BER "是 上 共有 对 角 元 2(1:n) 和 超 对 角 元 Fn- 089 E 
双 对 角 阵 . 陈述 并 证 明定 理 8.3.1 BO REDE XX. 


8.3.4 $A=|™ ”| 为 实 阵 ,假设 我 们 执行 如 下 的 带 位 移 QR 3: A 
~ af = UR A= RU + t ERRA | > Qo 


wa w t rle- z)/(w — z) + x*], 


8.3.5 HACC" Hermit Ee , UL EHE RE Bas ERE Q fef gr AQ 
= 了 为 实 对 称 三 对 有 有 阵 ， 

8.3.6 WEB A=B + iC E Hermit 阵 , 则 M-[^ BELLI 
RR A TUM 的 特征 值 和 特征 向 明之 间 的 关系 . 

8.3.7 XT A 储存 在 两 个 n 维 向 量 中 的 情形 ,重新 写 出 算法 8.2.2. 并 
说 明 算 法 的 计算 量 . 

8.3.8 $ AS=S+ outu! 其 中 SEN"*" 是 反对 称 阵 (AT= — A),u € 
ER" X2 RE Ao CE .说 明 怎 样 计算 正 交 阵 Q 使 得 QTAQ 为 三 对 
AEH QTu—LG,l)-«. 
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$8.4 Jacobi 方法 


求 对 称 特 征 值 问题 的 Jacobi 方法 近来 引起 人 们 注意 ,是 因为 
它们 本 质 上 是 并 行 的 .它们 做 法 如 下 :进行 一 系列 正 交 相似 变换 不 
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断 校正 4< 一 CTIT4O ,使 得 每 个 新 A, ERE 88 EE [B EERI— T A 
“更 对 角 化 ”. 最 终 , 非 对 角 线 元 素 都 小 到 可 以 认为 是 零 . 

通过 对 Jacobi 方法 内 在 的 基本 思想 进行 观察 后 ,我 们 提出 一 
种 并 行 Jacobi 过 程 . 


8.4.1 Jacobi 思想 


Jacobi 75 ik Ef] BAG E EA ah. 


ofA) = | >) Da}, 


1 + 0 0775 Ü c7 Ü 
) 6o s oc O |p 
J(p,.,q,9) = '. : ， 
$ ... C a 0 Q 
Ó oe 0o 0 uj 
P q 


我 们 称 其 为 Jacobi 旋转 变换 . Jacobi 旋转 和 Givens Be RRA P 
同 , 见 5.1.8 节 .在 本 节 改 用 名 字 是 为 了 纪念 方法 的 发 明 考 . 

进行 Jacobi 特征 值 求 解 过 程 基本 步骤 有 :(1) 选择 满足 1= p 
« qxin WIER, g) 计算 一 个 余 荡 -正弦 对 (c,s) 使 得 


b b Tra, a 
be ties Z mI ean 
bap Bag ~s cd bag, Ggit—s C 


:为 对 角 阵 ,以 及 (3) 计 算 B= J'AJ, EP J = J (p,.,q.0),3F8 i 


A. ESERE BAART pAg RAT Pš 2 2F EJ AR 3. 而且， 
Frobenius 范 数 正 交 变换 下 不 变 , 我 们 有 

a2, + a2, + ata = bhp + bi, + 264, = bpp + bus. 
这 样 


off(B)?= | B |+ — >; bš 
r=1 
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7i 


A 


off( A y -- 20%. 
在 此 意义 下 , 8 -- 4" Jacobi 步 后 A BSH fü n. 
在 我 们 讨论 怎样 选取 下 标 对 (p,9) 前 ,让 我 们 看 看 (p,qg) 于 
问题 的 实际 计算 过 程 . 
8.4.2 2X2 的 对 称 Schur 分 解 


说 我 们 使 (8.4.1) 对 角 化 也 就 是 说 
Ü = b, = a, le? — s2) + (ap, 一 Gag ICS. (8.4.2) 
车 a, ==0, 则 我 们 只 要 设 Ce,s)= {1,0). 否则 定义 


Sag Sop H, 一 sfe. 
Za, 


由 (8.4.,3) 得 到 f=tan(8) 是 二 次 方程 12-2: 一 1=0 之 解 .人 人 们 
发 现 ,选择 两 根 上 = - rz+w1+ 王 中 较 小 的 一 个 是 重要 的 .而 c 
s AY max 


T 


č = 1/4/1324 p. s = Ete 
得 到 .选择 + 为 两 根 中 较 小 的 一 个 可 确保 16| 安 于 日 使 吾 和 A 之 
差 的 范 数 最 小 ,因为 


IB- A|} = 4 —c) >) (a4, + al) + 2a47c. 
i—1 
itp 


我 们 总 结 2x2 矩阵 计算 如 下 : 
算法 8.4.1 8X — nx n SHEA PEA p eg, WAA 

1« p qn ,ik— X xk ib a6 RR EBA (c sS) RAS B = 
J(p,q.0) AJ p,q,0),9H bp, = by = 0. 
function: [c,s]=sym.schur? (A,p,4) 

` if AC p.920 

r—-(A(q.q) - ACP, pD))/(2A(Cp,q0) 
. d96 ` 


if 7-0 
tM (e lt); 


eise 
t=—1/(- r+ /l1+ ó) 

end 

c=1// I+ P 

s= t 
else 

c-1 

s=0 


end 
8.4.3 经 典 Jacobi 算法 


如 我 们 上 面 所 说 ,解决 (p,q) 子 问题 ,只 改变 p,g 行 和 列 ,一 
Mi sym, schur2 决定 了 2x 2 的 旋转 阵 ,那么 若 充分 利用 对 称 性 , 则 
Fi JG p.q,0) AJ (p,q, OBIE A Aig 6n 次 运算 . 
我 们 怎样 选择 指标 pq? 从 使 (8.4.2) 中 的 减 量 off À > 
最 小 的 观点 ,有 理由 选择 (p,9) 使 a 为 最 大 ,这 就 是 经 典 Jacobi 算 
法 的 基础 . 
算法 8.4.2( 经 典 Jacobi】) 给 定 对 称 阵 A C IR" "7" BFF tol 
>0, 本 算法 用 VTAV AAA, AF V 3 E % B.B. off( VT AV) 
tol || A Í| =. 
V=; eps = sot ° || Á || p 
while off (A) > eps 
选择 (p,q) 使 |apo| 一 max| a; 
(c,s) - sym.schur2 (A. p. q) 
A=J(p,g 0) AJ(p,q,.8) 
V=Vitp.g,4) 
end 
HF | ap, | ERASE MAIC , off(A PSN (a, t ty) EF 
= 497 . 


N 7 n(n -1)/2. A(8.4.2) TH 
off B? < (1 - x Jeff AY. 
HEF, A AM RRS k E Jacobi 更 新 后 之 4, 则 
off( AU)? < (1 - aj) fay. 


这 证 明了 经 典 Jacobi FE EL ZR PE TR SE C a 

SR TI , 12 75 PE < W Yr i 25 yE E IK. ZR, YE BRL RE F1 4E. Schonhage 
(1964) ll Van Kempen (1966) uEH] T HE & PBK AER c 使 
得 

off(A BTN) « c + off( AU? y? 

B), — IK St. Henrici (1958) 的 较 早 论文 就 针对 A 有 不 同 特征 值 
的 特殊 情形 建立 了 相同 的 结果 .在 Jacobi RRM HP, 3 ft 
18| 扎 x4 是 很 关键 的 ,此 不 等 式 加 上 其 他 条 件 就 排除 了 几乎 收敛 
的 对 人 角 元 之 相互 交换 的 可 能 性 .这 一 点 可 以 从 由 等 式 (8.4.1) 所 得 
到 的 公式 Bap = App T tag, M b. = ax + ta, VÀ R SE S. £ = 
sin(@) /cos( 2) FAH. 

习惯 上 称 N 次 Jacobi 迭代 为 一 次 扫描 .这 样 ,经 过 在 足够 步 
FAm, 只 要 在 每 步 打 构 后 考查 off(A) ,就 能 观察 到 算法 的 二 次 
收 侣 性， 

例 8.4.1 应 用 古典 Jacobi 造 代 于 


1 1] 1 1 
l 2 3 4 
A= 
1 3 6 10 
1 4 10 2 
我 们 有 
. Hift O (off A) ` | HE O (off A)) 
0 10 3 10 ^! 
1 ia 4 ip P 
2 1077 


没有 严格 的 理论 使 人 们 预算 出 为 获得 off(4) 特 定 的 减 量 所 
需 扫描 的 次 数 .然而 ,Brent Al Luk (1985) 已 持 经 验 指 出 扫描 次 数 
与 logt23) 成 比例 ,现实 情形 似乎 也 如 此 . 


8.4.4 TARDE 


Jacobi 77 15 B) FR 49i E Bk REE BER 上 O(n) 次 运算 但 选取 最 大 
TOR (p Quai O(n? thie E. ED Ik, OE a — AR CER E 
#h E MUFF DATAE F y. — Rh S BE BJ ET xq ARAS EOM A oc XX t 
行 变换 . 例 , 若 n =4, RHEA FR: 

(5,9) = (1,2),01,3),1.4),(2,3).(2,49,63,4),01,2) e 
这 种 排序 格式 称 为 按 行 循环 a F 50 38 zk : 

算法 8.4.3( 箱 环 Jacobi) 给 定 一 对 称 阵 A C R” "n SHR 
tl > 0, 这 一 算法 用 VTAV AÑ Š A. R F VALERY B 
off( VTAV)<tol |! A Il c. 

V=], 
eps= tol || A || = 
while off( A ) > eps 
for p=lin-1 
for g— p *1:n 
(c,5) = sym.schu2 (A, p,q) 
A=J(p,q,9) "Al (p,¢.8) 
V= VJ(5,q.0) 
end. 
end 

end 
(a? Jacobi tB, Ji 2k ui Sir. (6, Wilkinson (1962) RI Van Kemper 
(1966). PRT. BH T EE Pm E S AEN 8 218 RE H; Jacobi 原始 算 
法 要 恢 得 多 . 

例 8.4.2 车 循环 Jacobi 方法 应 用 到 例 8.4.1 BSP, AM 
* | 
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C —Ó————ÁÀ——— pp 
ww a. 


Otoff( A1) 
T 
10 l6 


Ototf( A )) 
La 
jo! 


8.4.5 误差 分 析 


用 Wilkinson 的 误差 分 析 , 可 以 征明 苦 在 算法 8.4.3 中 需 r 
At Ue A 的 特征 值 1 的 某 个 排列 ,计算 的 d; 满足 


S) (di -A < (8 +A |l gu. 


参数 k, WMT r. 
尽管 循环 Jacobi JIE- LRU, 一 般 来 说 与 对 称 QR 算法 无 
法 相 比 .例如 ,车 我 们 只 算 运 算 量 , 则 2 1X Jacobi $318 f E S Ti 
有 累积 的 QR 算法 进行 归 化 对 让 型 的 全 部 计算 量 . 但 是 ,在 nn fe 
小 的 时 息 差 别 就 不 是 很 明显 .而 且 , 若 - :个 近似 特征 向 量 矩 阵 V 
LO nam, v'Awv 近似 于 对 和 骨 涟 ,此 请 形 适合 应 用 Jacobi 方法 
而 不 是 QR 方法 . 
jacobi 选 代 的 另 一 个 有 超 之 处 在 于 当 A 为 正定 阵 时 , 它 计算 
B TAE 8 RO AED VALE PED. 为 了 解 这 一 点 ,和 注意 到 以 上 引述 的 
Wilkinson 4} # Ri $8.1 的 扰动 理论 一 起 确保 计算 的 特征 值 


Ape eA, 满足 


là -ACGOL dAl 
A(A) | 7" (A) SCA f 
然而 ,由 Demmel 和 Veselic (1992) He E EFL EE TE BY 2 s JE: A AY EAE 
分 析 证 明 在 正定 情形 有 


LIE == ux D” AD), (8.4.3) 
Bop D= diag (Van,…,v a,,). HO RORIS uk; (D AD) &—- 
" 500 . 


个 比 mol A) EP ADL. Bt k — AB BJ XE RE REE 
ay Pe RM F AS FF A + SB RER AQ 所 获得 的 计算 Jacobi 
校正 矩阵 , 则 A + 的 特征 值 在 (8.4.4) 意义 下 相对 来 说 更 接近 A, 
的 特征 值 . 为 使 整个 事情 全 平实 际 ,终止 条 件 不 基于 offf4a ) 与 
u || A || pt EEEF] a, | 和 下 weaiay 之 比较 .这 -- 工 作 是 
具有 代表 性 的 关于 高 精度 算法 新 的 赋 究 , 它 基 于 精细 的 分 量 形式 
的 误差 分 析 . Bl Mathias( 1995). 


8.4.6 并 行 Jacobi 方法 


求解 对 称 特征 问题 的 QR 算法 和 Jacobi 算法 之 间 最 有 趣 的 区 
别 是 后 者 的 并 行 本 性 . 为 表明 这 点 , 设 交 =4 且 把 6 个 子 问题 按 如 
下 归 为 三 个 旋转 集 ; 
rot. set(1) = ((1,2),(3,4)1, 
rot. set(2) = 1(1,32,(2,4)1, 
rot. set(3) = {€1,4),(2,3)}. 
注意 到 三 个 旋转 集中 每 个 集 的 所 有 旋转 均 是 “ 非 冲突 的 ”. 即 , 子 问 
题 {1,2) 和 (3,4) 能 并 行 处 理 . 与 (1,3) 和 (2,4) 子 问题 类 似 , 子 问题 
(1 ,4) 和 {2,3) 也 能 被 并 行 处 理 . 总 之 ,我 们 说 
(4,41) Cosa) n GN, N = (n - Dn 
BRIG GHIS <j Snl WITH, REM so 1:2 -1, 旋 转 
7E rot. set( 5) 2 1(4,,),): r2 1 n(s — 1)72: ns 21 是 一 些 非 神 突 
的 旋转 组 成 .这 需要 n 为 偶数 .本 节 里 我 们 都 稻 定 这 一 点 .(za 为 
奇数 时 ,我们 在 A 的 边 上 增加 一 行 和 --* 列 零 抑 素 , 且 在 解 含 有 这 
些 添 加 的 等 元 素 子 问题 时 十 分 小 心 就 能 处 理 . ) 
一 种 产生 并 行 排序 方法 是 想像 -- 场 有 n 个 选手 的 象棋 比赛 ， 
每 个 选手 必须 与 其 他 每 一 个 赛 一 场 .在 n =8 的 情形 , 需 7 个 “ 回 
Tr ,在 第 一 回合 里 ,我 们 有 下 列 四 场 比赛 : 


rot.set(1)=1(1,2),(3,4),(5,6),(7,8)1 
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即 ,1 对 2,3 对 4, 等 等 .为 建立 第 2 到 7 个 回合 , 赛 于 1 不 动 ,选手 


2 rot. set(2) = {(1,4),(2,6),(3,8) (5,7) | 
BHEE rot. set(3) = 1(1,6).(4,8),(2,7),(3,5) | 
rot. set(4) = |(1,8), (6,7), (4,5), (2,3)! 
rot. set(5) = [0,7),(5,8),(,60,Q,40] 
rot. set(6) = /(1,5),(3,7),(2,8),(4,6)| 
1 B rot. set(7) = | (1,3), (2,3), (4,7), (6,8)1 


我 们 能 用 一 对 整数 向 量 top(1: à 2) Ml bot( 1: n /2) K x Ee ME fE 
进行 编码 . 在 一 给 定 回合 top(CR XI bot(2) E = 1: n72. F— Il 
的 派对 由 对 top 和 bet 作 如 下 校正 来 获得 ; 
function: | new. top, new. bot | = music( top , bot , n) 
mEn? 
for k=lim 
if =l 
new. top(1)=1 
else if & =2 
new. top(k) = bot (1) 
else if £ >2 
new. top(k) = top(k — 1) 
end 
if & =m 


new . bot ( Ë ) = top ( k ) 
else 
new. bot (Rk) = bot (Rk +1) 
end 
end 
用 music 程序 ,我 们 获得 下 列 的 并 行 排序 Jacobi 算法 . 
算法 8.4.4( 并 行 排序 Jacobi) 给 定 一 对 称 阵 ACR" fos. 
HR tol>0, 本 算法 计算 VT AV YA š A. RP V 是 正 交 阵 且 
off( V'TAV) Stol || A || p. 4& € n 34538. 
V-I, l 
eps = tol || A || e 
top —1:2: n;bot = 2:2: n 
while off( A ) >eps 
for set-1:2 -1 
for k—1:n72 
P= min( top( k), bot (k)) 
g 7 max( top(k) , bot (k)) 
(c,5) ^ sym.schur2 (A, p,q) 
A7 JC p.q.0)' AJCp,q,0) 
V= VI(p,q,0) 
end 
| top , bot ] = music( top , bot , n ) 
end 
end 


注意 到 TPA EE n 72 个 独立 的 , 非 冲 突 的 子 问题 ， 


8.4.7 Bite 


我 们 现在 讨论 算法 8.4.4 是 怎样 用 于 一 个 p T RF PE ak EL 

器 .为 清楚 见 , 我 们 假设 p= n .在 任何 瞬间 ,Proc(zy) 包 信和 的 

两 列 和 的 相应 列 , 例 如 , 若 n=8, 划 以 下 是 入 ISAS 
* 903 * 


SP rr A ees PP. VER rhe voor umaman 


变化 的 情况 . 
Proc(i) Precf2) Proc(3) — Proc( 4) 
Step 1: [1 2] [3 4] [5 6] [7 8] 
Step 2: [1 4] [2 6] [3 8] [5 7] 
Step 3: [1 61 [4 8] [2 7] [3 5] 
WA PF XE as PH e Fl <a ip. SE-B ON 790,58 — BERE 
为 右 列 . 这 样 ,在 第 3 步 中 的 Proc (3) 中 的 左 列 和 右 列 分 别 是 2 和 
7. 
注意 到 在 步 与 步 之 间 , 列 与 列 按照 music BPRS 
不 断 变 换 且 变换 主要 是 在 相 邻 的 指标 之 间 . 每 - 步 中 ,每 个 处 理 器 
解决 一 个 子 问题 .这 包括 {a) H W. -个 正 交 阵 VIC RU, EK 
解 一 个 2x2Schur 问题 ,tb) HI 2 2V i E A AV 的 两 选 定 
列 ,(c) 送 2x28Woal 到 所 有 别 的 处 理 器 ,日 (d) 从 别 的 处 理 器 接收 
Vmal 阵 月 相应 A 和 VW 的 局 部 块 ,由 于 A 按 列 情 存 ,校正 Von 
要 进行 信息 传递 ,因为 他 们 影响 A 的 行 .例如 ,在 x — 8 的 问题 第 
二 步 中 ,Proc(2) 必 须 接 收 与 子 问题 (] ,4),(3,8) 和 (5,7) 有 关 的 2 
x2 旋转 阵 . ke HE St K Proct1),Proc(3) 和 Proc(4). -- # 3 
说 ,能 够 很 方便 地 实现 分 享 旋转 阵 , 只 要 通过 按 轮 流 方 式 在 环 上 传 
E 2x2V.uE PE. Sj T xb PESRIE Ul — Dr EK HI 2X 2V mE PEZ 
TEA AH RAMEE A MV 的 局 部 选 定 块 . 
算法 8.4.4 的 终止 条 人 忻 引 出 了 分 布 式 存储 环 境 中 的 一 个 问 
al BI offC RMA | A | > BEA 的 所 有 元 素 .然而 ,这 些 全 局 
Ak 立 矩 阵 轮 流 坐 棕 状 态 时 可 计算 .在 开始 进行 V 阵 循环 之 前 ， 
每 个 处 理 器 都 计算 eA; 和 off(。) 的 相应 部 分 .将 这 些 量 进行 
轮转 且 每 一 步 将 其 读 下 , 则 它们 能 被 每 个 处 理 器 相 加 .一 个 完整 的 
循环 结束 之 后 BETABEESER CB DEED || A ip 和 off(*). 


$.4.8 FR Jacobi 算法 


常 磁 到 这 样 的 情形 :在 一 个 有 p TAE (n > pp) yi 
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解 一 个 对 称 特征 值 问 题 .在 这 种 情形 ,Jacobi 算法 的 分 块 形式 也 许 
更 合适 .上 面 程序 的 分 块 形式 是 显然 的 . 设 n= rN 且 我 们 对 A P 
和 作 如 下 分 块 : 

Ay CU AIN 


Ani "tt Ann 
这 里 每 个 A; JÉ r X r Me. 在 分 块 Jacobi EE F Cp. q T fe BN eT 
1€ 2r-x2rSchur 分 解 


M vn [Ae âm J| Vw Ya] [D> " 


V, Vag? + Agp Aui Vop Va i 0 Do, 
然后 用 由 V; 构成 的 分 块 Jacobi 旋转 阵 作 用 于 不. 车 我 们 称 此 分 块 
旋转 阵 为 Y, 则 易 证 


off( VTAVY =off( A)? — (2 || AJ Il? 
+ off A4? + off CA). 


分 块 lacobi 方法 有 许多 有 趣 的 计算 问题 ,例如 ,有 许多 方法 去 解 这 
些 子 问 题 而 选择 看 来 是 很 重要 的 . 见 Bischof (1987). 


习 题 
8.4.1 Bina y AMER 


一 起 给 定 , 需 求 一 个 正 交 阵 


C 5 
r=] °°} 

使 得 JT AJ MODEST y. 证 级 ,此 要 求 导致 等 式 

(te ~ v)r^ —2zr + (z — y) = Ü, 
其 中 -=c/s.üuEBBR, IK AES y WW P Am ysA, 有 实 根 ,其 中 Xl Tn A; 
为 A 的 特征 什 . 

8.4.2 $ AAER"*" 为 对 称 隆 . 纵 出 一 算法 计算 分 解 
Q'AQ = yI+F, 
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其 中 Q 是 Jacobi 旋转 阵 的 累积 ,>= trace( A) Zn , B. F MMA AS. hE Q 
的 惟一 性 ， 

8.4.3 对 (a) 反 对 称 阵 (b} 复 Hermit 阵 情形 设计 Jacobi #ë Pë 

8.4.4 对 xpz 维 实 对 称 阵 4 EWR: 


[a vt 1 

À = | i 
Lu A,;in-l 
l n-—t 


^* Q H Householder 阵 ,使 得 若 B= Q'AQ,9I B(3:5,1)-0 $ J = 
JG,2,0 3X FEE: C = J'BJ, M| cx = 0 EH cn Z° cz. BEM cy 2a + 
| = lls. 基于 重复 做 这 个 Householder-Jacobi 计算 ,La Budde (1964) 41 T — 
个 求解 对 称 特征 值 问题 的 算法 . 

8.4.5 设计 函数 music 使 得 它 只 需 最 小 工作 空间 . 

8.4.6 当 应 用 循环 Jacobi FRA wit an 不 消去 是 人 台 理 ,只 要 其 模 小 
于 某 一 个 小 的 , 傅 赖 扫描 的 参数 ,因为 在 此 情况 下 eff(4) 的 下 降 量 不 值得 进 
TER. 这 就 导致 了 所 谓 的 门限 Jacobi 方法 .关于 Jacobi 算法 的 这 一 变形 之 
细节 可 在 Wilkinson (1965,277 页 ) 中 找到 .证 明 合 着 的 门限 能 保证 收 襄 . 
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88.5 三 对 角 方 法 
在 这 -- 节 里 ,我 们 提出 求 对 称 三 对 角 型 特征 问题 的 特殊 方法 . 
三 对 角 型 
aj bp ocn 0 
by aa "n : 
T- ; + " (8.5.1) 
0 7 by-1 Gg 


能 通过 Householder JH (KC 8.3.1 节 ) 获 得 .然而 ,在 许多 情形 ,很 
自然 就 出 现 对 称 三 对 角 特 征 问 题 . 

我 们 首先 讨论 二 分 法 ,此 法 在 只 需求 特征 系统 选 定 部 分 时 很 
有 趣 . 之 后 给 出 分 而 治之 算法 ,该 算法 可 用 来 以 一 种 适 于 并 行 处 理 
的 方式 来 求 得 满 对 称 Schur 分 解 . 


8.5.1 二 分 法 求 特 征 值 


令 T, 表示 (8.5.1) 式 中 醋 的 前 部 rr Xxr 阶 主子 阵 .定义 多 项 
式 p,(a)=det(T, 一 xT 了 ,r= 二 1:. 利 用 简单 的 行列 式 展开 可 以 证 
明 : 若 令 po(x) 二 1, 则 对 r=2:2,8 
Bx) = (a, — zp (zx) — br ipl). (8.5.2) 
因 通 过 O(n) 次 运算 就 可 以 计算 p, (xz) 的 值 ,因此 用 半分 法 找 它 
FAR A AT AT BY. ON, E paly) p, (2) 0 H y € z, MER 
while | y— zi»eClyl + | zl) 
r-(ytz)/2 
if 5,7) 5,0») <0 
else 
yeu 
end 
end 
PRUE IE, Ay t+ 2) 72 B: p, Cac PIE BD T BS feu 
E. 3x PER EATERR : 它 每 步 将 误差 减 半 . 


8.5.2 Sturm 序列 方法 


有 财 需 要 对 某 个 给 定 的 上 ,计算 T 的 第 上 和 大 的 特征 值 .利用 对 
分 思想 和 如 下 经 典 结果 可 有 效 地 办 到 这 一 点 . 
定理 8.5.1(Sturm JF AI TERES) 车 (8.5.1) 中 的 三 对 角 阵 工 
KARAS ACT, | 的 特征 值 严格 隔离 T, 的 特征 值 ; 
ACT, XL, (T, 1) < ALAQT) € c < ACT) 
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x AIO A) < Ai). 

wik, F aQ Ems. pad. pA P f k £ 
个 数 , 则 aC(A) FT 6 bA 小 的 特征 值 个 数 , 这 里 多 项 式 p (z) 
如 (8.5.2) 所 定义 上 且 我 们 约定 若 p.(A)=0,8) p,(4) 与 p,_1(4) 
E. 

证 明 ”由 定理 8.1.7 得 出 T _ HEERES T, 的 特征 
值 .为 证 明 必定 是 严格 隔离 , 设 对 某 些 y 和 ww; p(x)=p,_1(u)= 
0,8] H (8.5.22 & T 的 不 可 约 性 得 出 pole) = pi (eters 
peu) =0, BAP. 这 样 ,必然 有 严格 隔离 . 

关于 a (42) 的 这 个 断言 是 由 Wilkinson (1965,300 一 301 页 ) 建 
立 的 .我 们 提 到 着 P(t4)=0, 划 约定 它 的 符号 是 与 P, QUO 854 
SAR. 


例 8.5.1 += 
1 -1 0 0 
Il 2-1 0 
T= o -1 3 1| 
0 0 -1 


则 ACT) 10.254,1.82,3.18,4.74]. Pal 
{po(2), 89102 po(2), p3(2), pa(2)} = 11, — 1, - 1,0,1} 
FER T APP A= 2 PB AER. 
BoE EK BTW AL CT). 由 Gershgorin 圆 稚 定理 (定理 
8.1.3) 得 出 48 了 各 1y,zj, 其 中 
y= min (a, 一 | b; 1-1 bj, 1). 
z = max (a; 十 | b; | 十 | 8-1 1). 
REM b = b, = 0. 以 此 为 初始 值 ,显然 由 Sturm 序列 的 性 质 
BA TER 
while [z — [7 u*(Iyl + [zl) 
rc-c(ytz)/2 
if a(r)zn—k 
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r—r (8.5.3) 


end 
产生 一 个 长 度 反 复 减 半 而 且 始 化 包含 A4(TT) 的 子 区 间 序 列 . 
例 8.5.2 若 对 点 =3 将 (8.5.3) 用 到 例 8.5.1 &5 46 FE, WT 


#t 9) F # r A 
y x “a a(x) 

0.0000 ^ 5.0000 i 2.5000 2 
0.0000 2.5090 1.2500 1 

1.2500 2. 5000 1.3750 1 

1.3750 2.3000 1.9375 

1.3750 1.9375 1.6563 1 

1.6563 1.9375 1.7960 1 


Porr 


由 此 可 知 Aa T)E[1.7969,1.9375]. i£ X :43,(T)=1.82. 

FE EAT (8.5.3) XE ABI, AT 148 8| X: FE AKA 
信息 .通过 系统 地 保存 这 个 信息 能 设计 一 个 有 效 的 方案 来 计算 
ACTOR BR” T ES AAN, A (T), Art CT). Age, (T), AL 
Barth, Martin 和 Wilkinson (1967). 

若 想 要 一 般 对 称 阵 A 的 一 些 选 定 特 征 值 ,那么 ,在 应 用 上 面 
的 分 半 法 之 前 就 必须 先 计 算 三 对 角 化 T= Ug AL .这 个 归 化 使 由 
算法 8.3.1 或 下 一 章 讨 论 的 Lanczos 算法 郁 可 做 到 .两 种 情形 都 
可 以 经 过 和 揭 代 容易 地 找到 相应 的 特征 向 量 ,因为 用 O(n) 次 运算 
就 可 找 出 三 对 角 方 程 组 的 解 , 见 4.3.6 节 和 8.2.2 W. 

在 一 些 应 用 中 , 原 窍 阵 已 经 是 三 对 角 型 ,用 分 半 法 计算 出 的 特 
征 值 不 论 其 大 小 ,都 具有 较 小 的 相对 误差 .这 与 三 对 角 阵 QR À. 
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AE) GOLA VETE BE IO EAE (8 À, 具有 较 小 的 绝对 误差 :| A, - 
A T) In| T | 2. 
最 后 ,用 LDLT 分 解 ( 见 $4.2) 能 计算 对 称 阵 的 某 些 指定 的 特 
征 值 . 其 思想 是 用 Sylvester titi se PH(XE38 8.1.17). 
A — pl = LDL', A=A'ECR™ 
是 A- ul f LDLT 分 解 , 且 D —diag( di, d, WABI d; TR 
S T Hp ME] ACA) TIC. VE ML Parlect (1980, 46 T). 


8.5.3 HARA 1 PSRs 


我 们 求 对 称 三 对 角 阵 特征 问题 的 下 一 个 方法 需要 我 们 能 够 有 
效 计算 型 为 D+ ozz 的 特征 值 和 特征 向 量 ,其 中 D € R" "为 对 
A, CR HB o€ R ,这 个 问题 就 其 本 身 来 说 很 重要 ,是 主要 计 
算 依 顿 下 面 的 两 个 结果 . 

3]38 8.5.2. ARE D = diag(di,cc d, ) € R^" R. 5 EUR 
dj2e»d,QXdEg0H8:CR"ZAXSt. E 

(D + pzzl)v = àv, vO, 

W| z700, 8 D - AE EAH. 

证 明 HE ACACDO, WARA i, A= d, Re 

Q0 — eI[(D — AID)v + p(zlv)z] = plete), 

AE p 和 Z; 非 零 ,我 们 一 定 有 0= zl o H Do — Av. RMD 有 相 
FIE, EE, vE spanie). BÆ 0— zT e — z; ,7F IE 3X FÉ, D 和 
D+ oe*z' 没有 任何 相同 的 特征 值 ,有 = v260. " 

定理 8.5.3 dE D -—diag(d;,:-.d,) ElR*** 且 对 角 元 满足 
dy > >d, MÈ p0 BR xzER" 没 有 零 分 量 ,车 VCR "AER 
阵 使 得 

VI(D + ozz1) V = diag(A4,77,A42, 

AoBaum—mA,RV-[w.se]. 

(a) A; X f(A) 2 19 pz! (D - AI) lz 的 nn 个 零 解 

(b) & 020,9] 41»7d,17252772d,, 

0513 ， 


FS | 


5 p0, W di»2A17d42: >da Àn. 
(c) 特征 向 量 v; 是 (DD 一 AAI) !z 04538. 
证 明 车 (D+ ozz!)u = àv, Wi 
(D - ADv + o(ztv)z = 0 (8.5.4) 
我 们 从 引 理 8.5.2 I D — AI 非 奇 异 ,这 样 . 
v € spani(D — AI) lz}, 
因此 成 立 (c). Wi EL, EET TE SEG (8.5.4) AE zT CD - 
AI) WA 
zlo(ls pz) (D — AI) fs) = 0. 
Hi3138 8.5.2, 2 v 20, HME Y # A € ACD + pee"), WJ 
fA) = 二 0. 我 们 必须 证 明 / APA ES ED + pzz! 的 特征 值 且 相 
HAERES AR S Cb REL. 
为 达 此 目的 ,我 们 仔细 看 看 等 式 


2 2 
=. Zi "m. en 


zi zi 
roy - [a uy tn tuo) 
注意 到 foren B93R S Z B| E RUE B RHRINIABAES o > 
0,9] FTH n 个 根 , 在 以 下 每 个 区 同 里 有 一 
(d, d, 1r (das d iy (di, 99). 
# op<0, 则 了 正好 有 mn 个 根 ,在 以 下 每 个 区 间 有 一 个 
(= © da) (d, d i), (dn, di). 
在 两 种 情形 下 ,可 知道 f REGED tov] 的 特征 秆 . (1 
定理 表明 要 计算 Vi RNa) A+ at fF eR 
Arst A, Ab) W f= Lin RTE AE t(D — Ad) 来 计算 
V 的 列 向 量 . 即 使 有 重复 的 q, 和 零 分 量 Z,, 可 得 到 同样 的 求解 方 
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定理 8.5.4 ££ D-diag(d|,,d,)B z€ R", W) dE E 

交 阵 V eS VIDV,-diag(g ssp) Bw Viz W 
pi > au Doc P pr ZR gea SU È Has 

eS i=liy,w, 0. Aat i=rtlin,w,=0. 

证 明 我们 给 出 一 个 构造 性 证 明 , 它 基于 两 个 基本 运算 : 
(a REESE i<j 有 d;=d,. 令 J(i,ij,9) 是 在 (i,7) 平 面 上 的 
旋转 变换 ,具有 性 质 J(i ,i O" 8928 5; 个 分 量 为 零 .不 难 证 明 J 
7,0" DIG.7, O=D. 这样 , 若 有 一 个 重复 的 好 ,我们 就 能 使 
z 的 一 个 分 量 为 零 .(b) # z, 关 0, 且 i<j, 则 令 P Æi Mj WAR 
的 单位 阵 ,可 推出 PTDP 是 对 角 阵 ,(P'z); 才 0 BPT); =0.3% 
FE ,我 们 就 能 将 为 零 的 z, 放 在 “底部 ”. 很 明显 ,重复 (al 和 !\b) 步 就 
能 得 到 所 需 的 标准 结构 . V, 是 这 些 旋转 阵 之 积 . o 

关于 我 们 上 面 所 给 出 的 求解 算法 的 讨论 ,可 见 Barlow (1993) 
和 其 中 的 参考 书 . 


8.5.4 分 而 治之 方法 


我 们 现在 来 讨论 计算 三 对 角 阵 T BJ) Schur 分 解 
QTOT = A = diag ài, Àp) Q'Q = I (8.5.5) 

的 务 而 治之 方法 , 它 包 括 (a) 斯 "了 AAE (b) 计算 这 两 部 分 的 
Schur 4H. (c) 合并 两 个 一 半 宽 诬 的 Schur 分 解 为 所 需 的 全 尺寸 
的 Schur 分 解 . 整个 算法 由 Dongarra 和 Sorensen (1987) fe H, € 
适 于 并 行 计算 . 

我 们 首先 证 明 T 是 怎样 “分 成 ”两 半 , 再 加 上 一 个 修正 因子 . 
为 简单 起 见 , 设 n 22m. X, vER SNP 


een? 
v= wal (8.5.6) 


注意 到 对 所 有 的 oc R . RT PANA nE: 


~ tm ~ p bm — gà 
Tim :imt+1,mimt+1)= 2 
Om — Pm Ami — oe 
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She MET = T — pvo! 和 了 相等 . 若 我 们 令 9= bn W 


ñ Ü | T 

= 十 > 

0 y ^ 

其 中 
a, b, oce 0 Aint) Del D 0 
^i az 7 : b +1 52 

Ti |. . . ， T. = | ”. " 

; `. bg] 2 : Da-i 

0 ES Öm- tony 0 n b _| d, 


Ha, —a4— Ps Gms = Om +1 — 002. 
现在 假设 我 们 有 mxm 阶 正 交 阵 & 和 Q 使 得 oT T IQ = 
D, H QiT;Q,—D; BAX A TS 


则 
. 0 
U'TU = el nt ove" u = D+ pzz', 
其 中 
D, 0 
D = | 0 p. 
FEAT ff H 
z = Ulv = Md 
0056 


比较 这 些 等 式 我 们 看 到 有 效 地 综合 这 两 个 一 半 宽 度 的 Schur 分 解 
需 快 速 而 稳定 地 计算 一 个 正 交 阵 v 使 得 : 

- VI(D + ozz' ) V = A = diag(À,,77,2,), 
对 此 我 们 在 8.5,3 节 中 已 作 了 讨论 . 
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8.5.5 ”并行 处 理 


已 作 了 分 开 和 综合 运算 后 ,我 们 准备 演示 整个 过 程 及 在 多 个 
处 理 器 上 是 怎样 实现 的 .为 清楚 见 , 设 n =8N ,NN 为 正 整 数 , 可 作 
二 级 分 块 . 像 图 8.5.1 所 示 ,我 们 用 一 叉 树 来 图 示 此 过 程 .指标 注 
在 了 二 丸 树 上 .图 8.5.2 图 示 了 -个 结 点 , 它 代表 三 对 角 阵 T (b) 
的 特征 系统 从 三 对 角 阵 T(bo) 和 T(51) 的 特征 系统 所 获得 .例如 ， 
Nx N #0588 T(1100 Al T(111) 的 特征 系统 综合 在 一 起 就 产生 了 
2N X2N 的 三 对 角 和 矩阵 于 (11) 的 特征 系统 . 


TI000 T(DOI) T(O1D TP(O11) (100) T(101} TUL) T(ILI) 
图 8.5.] 计算 要 


Tl) Tiap 
图 8.5.2 Pee eee} 


FU AIK, EE, HE" 8" AUR , 3 +y TES 
ER ,但 在 我 们 问题 中 不 会 出 现 这 一 -情形 .为 看 清 这 一 点 ,我 们 仍 
假定 有 8 个 处 理 器 , 且 Proc (5 ) 的 第 一 个 任务 是 计算 T (b ) B 
Schur 分 解 , 其 中 =000,001,010,011,100,101,110,111, 这 部 分 
计算 达到 最 佳 装 载 平衡 及 不 涉及 处 理 器 之 间 的 通信 .{ 我 们 忽视 定 
理 8.5.4 的 降 阶 ,这 不 大 可 能 导致 明显 的 装载 不 平衡 . ) 

在 下 一 个 级 上 ,有 四 个 连 在 一 起 的 操作 需 完成 :了 (00)， 
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T(01),T(10),T(11). 2A fj , k 36TF 9 B RT RR, T E: i] 
at A} ab BB ç Sr SET IE 3F. 例如 , 一旦 T(00) 的 特征 方程 被 
Proc( 000 ) £l Proct001) 所 知 , 则 它们 都 得 到 一 半 的 特征 值 和 相关 
特征 问 量 .类 似 地 ,4 个 处 理 器 分 配给 TCO) A T(1) 问 题 . 所 有 8 
个 处 理 硕 都 参与 计算 了 的 特征 值 .这 样 , 在 每 级 水 平 上 ,完全 平行 
性 能 保持 .因为 特征 值 /特征 向 量 计算 是 互相 独立 的 . 


doom 


8.5.1. RA BHRIOWART HE. dA ACE ICE A, M T 
IH uxxIfon 2 pk - 1 353. 

8.5.2 试 给 出 -- 确 定 p 和 8 的 算法 ,具有 人 性质 86E | - 1.11H 

minila,- pl, las pelt 为 最 太 . 

8.5.3 4 p. (A) 7 det(T(C:r, 1:72 一 AI,) 其 中 全 由 (8.5.1) 给 出 . 试 给 
出 计算 p, (1 的 选 代 式 ,并 用 它 来 导出 能 计算 T 的 特征 值 的 牛顿 送 民 式 . 

8.5.4 在 分 配给 特殊 的 T, 上 的 处 理 大 之 问 ,什么 通信 是 必需 的 ?处 
理 重复 d 以 及 零 元 素 x, 的 工作 可 以 分 享 吗 ? 

8.5.5 若 工 为 正定 阵 ,可 以 推出 8.5.4 节 中 的 矩阵 T, AT, 是 正定 阵 


I? 
8.5.6 设 
A E "| 
v' d, ` 
其 中 D = diag(d,,°.d, 1 有 不 同 的 对 角 元 且 r+ EIR" 1 的 元 素 都 不 为 零 . 
(a) ERF AC ACA) D-a- JEG (b) 证 明和 车 ACA(A) Wak 


_ a-i UE l 
{AY = À + 2 Za en HA 


8.5.7 ibtA-Stou:u! HP SER” "BRURE CIS I € R ,说 
明 怎 样 计算 一 个 正 交 阵 Q HB OTAQH=T+ one]. 其 中 下 是 三 对 角 阵 且 反 
对 称 ,el RE T, 的 第 一 列 . 

8.5.8 BMAGACT) HP TEP" ARAFATA = x: A 
阵 . 说 明 怎 样 从 方程 Tr = Ae 1B (1: -1), 88 zx, =1. 
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二 分 法 和 Strum 序列 方法 讨论 十 

W. Barth, R. S. Martin, and}. H. Wilkinson (1967). “Calculation of the Eigenvalues of 
a Symmetric Tridiagonal Matrix by the Method of Biseciion,". Numer., Math. 9, 386— 
393. 也 见 Wilkinson and Reinsch (1971, 249—256). 

K. K. Gupta (1972). "Solution of Eigenvalue Problems by Sturm Sequence Method, " 
Int. J. Numer. Meth. Eng. 4, 379—4(M. 

本 节 所 讨论 的 分 而 治之 算法 的 许 客 方面 之 细节 见 下 列 文 章 

G. H. Golub (1973). “Some Modified Matrix Eigenvalue Problems,” SIAM Review 15, 
318—344. 

J. R. Bunch, C. P. Nielsen, and D. C. Sorensen (1978). "Rank-One Modification of the 
Symmetric Eigenproblem," Numer. Math. 31, 31—48. 

J. J. M. Cuppen (1981). “A Divide and Conquer Method for the Symmetric Eigenproh- 
lem," Numer. Math. 36, V77—195. 

J. J. Dongarra and D. C. Sorensen (1987). “A Fully Paraliel Algorithm for the Symmetric 
Eigenvalue Problem," SIAM J. Sef. and Stat. Comp. 8, si39—s154. 

S. Crivelli and E. R. Jessup (1995). “The Cost of Eigenvalue Computation on Distributed 
Memory MIMD Computers," Parallel Computing 21, 401—422. 

该 方法 所 获得 的 很 详细 的 计算 结果 在 下 列 文章 中 仔 风 分析 了 ， 

The very delicate computations required by the method are carefully analyzed in 

J. L. Barlow (1993). "Error Analysis of Update Methods for the Symmetric Eigenvalue 
Problan,” SIAM J. Matriz Anal. Appl. 14, 598—618. 

TH ROSE REP GE IB pl ES hy E E Hiit: 

P. Arbenz, W. Gander, and G. H. Golub (1988). “Restricted Rank Modification of the 
Symmetric Eigenvalue Problem: Theoretical Considerations," Lin. Alg. and Its Ap- 
phe. 104, 75—95. 

P. Arbenz and G. H. Golub (1988). “On the Spectral Decomposition of Hermitian Matri- 
ces Subject to Indefinite Low Rank Perturbations with Applications,” SIAM J. Matrix 
Anal. Appi. 9, 40—58. 

-AET 3.” EE NE 8.5.70 IB Ay RS EF Xp: 

M. Gu and S. C. Eisenstat (1995). "A Divide-and-Conquer Algorithm for the Symmetric 
Tridiagonal Figenproblem," SIAM J, Matriz Anal. Appi. 16, 172—191. 
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$8.6 计算 SVD 


T 
Xil A 的 奇异 值 分 解 与 对 称 阵 ATA AAT 及 ñ ^ 


Schur 分 解 之 间 有 着 重要 的 关系 .事实 上 ,如 果 
UTAV = diag oi, G.) 
是 ACR” mn) hð SVD, J 
VI(ATA)V = dag(ol,--,02) € E", (8.6.1) 
U AADU = diag(oi,:7,22,0,-,0) € 3"*. (8.6.2) 
—— 


| 的 


mA ,# 
U= [Ti U, |, 
fei OH 


71 
HEEZE QER tad Ü 1 db 


1 M V 0 
Q == E 
JUU -U 4205. 
则 
0 AF 
"Uu Ü Jo 一 diagkal， cn， 7 dja — Fa ,0, 77,0). 


(8.6.3) 
对 称 特 征 问 题 的 这 些 关 系 使 我 们 可 以 把 前 两 节 中 的 数学 及 算法 的 
Bro mH SI S548 B E. 这 一 节 的 优秀 参考 书包 括 Lawson 和 
Hauson (1974) EL Æ Stewart 和 Sun (1990). 


8.6.1. 扰动 理论 和 性 质 


基于 8$8.1 的 定理 ,我 们 首先 对 SVD 建立 . 些 扰动 结果 , 团 
忆 一 下 6; (A) Fem A 的 第 i 大 的 奇异 什 . 
定理 8.6.1 # ACR””” Mx R—1,:minim,nl 
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- 一 一 一 一 


E JEN ME: RN 
o.(A) = max min = max min 
tsa zes [|z lla | yl oms=e zes dic | 
df T= yET 


注意 表达 式 中 SCS fp TOR” ATE. 
证 明 把 定理 8.1.2 应 用 于 AT A 就 得 到 最 右边 的 式 子 , 余 


TAr ll A || 2 
| 


下 的 证 明 留 作 练 习 . L| 
推论 8.6.2 X A dv A + E JE Fm 7, m Z= n, MAN 
k=1:n¥ 


la,(A + E)-—o,(A) Iz ai (E) = | E ll. 
证 明 将 推论 8.1.6 应 用 于 
工 工 
[° ^| 及 m (TED) 
A Ü A + E 0 
$[8.6.1 # 


1 4 ] 4 
A = i2 中 A -E- í2 5 1, 
6.01 


W| 7(A)—19.5080,0.7729] RB. (A + E) — 19.5145,0.7706 | .很 
Bx i=-1:2, 8 Ale (A+ E)-o;(AJI || El 5-—0.01. 
推论 8.6.3 4 A-[a:, a  ]€ R^ "ADR, men. 
#% A, =la, a] 0 rlin- 
glAn) a,{A,) = o7(A,4,) pet 22 S, CÀ 2) = o,{A,) 
== 6,41 A,41). 
证 明 应 用 推论 8,1.7 于 A'A. [] 
最 后 这 一 : 铺 果 是 说 矩阵 增加 一 列 , 则 最 大 奇异 值 增 加 ,最 小 奇 
异 值 减 小 . 
例 8.6.2 
11 
12 aCA) = 17.4162}, 
13 Apa = |119.5377,1.80951, 
14 c(A4) = 135.1272,2.4654,0.00001 . 
10 15 


Ww 00 ~l C 
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由 此 可 证 实 推 所 8.6.3. 
下 一 个 结果 是 奇异 值 问题 的 Wielandt-Haffman Œ W. 
定理 8.6.4 X A RATE & TR" "omn, 


S (aA + E) - 4(AD < EIS. 
证 明 ”应 用 定理 8.1.4 于 


[a " lace d ME 
例 8.6.3 x 


1 4 1 4 
A= 2 S|\#?At EF = 2 5 |, 
6.01 


z 
W| >) (oA + E) -2,(A)? = 0.472 x 1047104 = || E || 2. 
k-1 


见 例 8.6.1. 

对 于 ACR RNA 维 子 空间 SCL A TORE RA 
STGB  AWeeS ByCT RMAArET MATVES. FAR 
与 奇异 子 空间 对 的 扰动 有 关 . 

定理 8.6.5 SA, ECR" (mn), FRE VER" 
PUER” ER JR 

V—-[V; V], U-[U, Ul. 
r 


r nor ni —r 
H ran( yi) 和 ran( U1) 形成 A 的 奇异 子 空 间 对 , 令 - , 
wv 
U' AV = 
G An H — F 
r io” r 
H Ej Enuir 
U EV = 
E; Enim-r 
r B Dn 
县 设 


= min lo—YyY 0, 
2€ aC Ay) 
r£ et A) 


车 
IET. 
RAs PERO BQ ERO O RA 


IH 


使 得 ran( V4 + VQ) 4 ran(U, + U;P)X A + E Of HF = 8 
x+. 

WERA M, Stewart (1973) ,定理 6.4. [] 
粗略 地 讲 ,该 定理 措 出 4 的 O{s) 变 化 能 导致 奇 异 子 空间 e/6 量 
级 的 改变 ,其 中 5 为 相应 奇异 值 隔离 程度 的 一 个 量度 . 

例 8.6.4 4 A =diag(2.000,1.001,0.999) C R^ FF 
d EISE paniv,l,spaníu;1), 31 i -1,2,3, KP. v; = e) H u; 


| EI 
<4 5 


=e jz 
.000 0.010 0.01 
0.010 1.001 0.010 
ATE 
0.010 0.010 0.999 
-010 0.010 0.01 
AB REJA Be 66 5] 


.9999 -0.0144 0.007 
0.0101 0.7415 0.6708 
0.0101 0.6707 — 0.7616 
0051 0.0138 - 0.0007 
.9999 -0.0143 0.000 
9; |= bom 0.7416 ans 
.0101 — 0.6707 — 0.741 
定义 了 A E 89 3 p TUE Met. 注意 到 ,对 i = 1, spania t, 
spani&;1 3E T [spanl vj! ,spanl uj] 1, 4& 5$ 2 22 或 3, 不 是 如 此 ， 
«593 + 


i E? TE Bs] = 


cid 
I 
e 
d 

ba 


4-H, HT SE B] Ht i span | 32, Val. span lko, wal) Æi 


ispan} v5, v3 | ,span| uz, ugli. 
8.6.2 SVD 算法 


现在 ,我 们 指出 怎样 用 OR ME TP AE A cR” p] 
SVD, mn. W -看 ,这 十 分 明显 .等 式 (8.6.1) 使 我 们 想到 : 

* 形成 C=AiA 

。 用 对 称 QR 算法 计算 VICV, = diag(o2) 

> 用 带 列 主 元 的 QR Jk T. AV, RF 

U'(AV))H = R. 

MR 的 列 已 正 交 化 得 出 UT A ( V, H) E XT f EE. fB F, ERE (B 
5.3.2 BB SIBI, ATA 的 形成 可 能 要 导致 信息 的 损失 .由 于 用 原 
HEP A 计算 已 ,情况 还 不 那么 十 分 坏 . 

Golub 和 Kahan (1965) 4X T SVD 较 好 的 方法 .他 们 的 技巧 
在 于 对 ATA FBGA ER QR 算法 ,同时 求 U 81 V.58 EAR 
5.4.246 A AERO Hy RE 

di fi w 0 


cg" 
Aa = 


T ú ， : 
UJAU, = | 0 fy 
LO cs Ü a, 
于 是 , 剩 下 的 问题 是 计算 B 的 SVD. 为 此 ,考虑 一 对 第 阵 T= BTB 
应 用 QR 算法 (算法 8.3.2): 
. + HSER 
É +f, dyfn | 
2, f. "m ef ; m = xn —1 
的 靠近 di + fs 的 特征 值 A， 
。 计算 c= cos(9,)3e s, sinl HEA 


ds vil 


Ü 
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-| = ———F rE < P C.L IT | 


A G,- G(1,2,0,). 
* 计算 Givens 旋转 Gio, G,- IRH Q = GG, - PH, 
OTTO #22; AM, A Oe, — Ge, 
注意 到 这 和 需要 显 式 计算 中 如 .正如 我 们 所 看 到 的 .从 数值 观 
点 来 看 ,这 是 不 明智 的 . 
而 假设 把 上 面 的 Givens 旋转 G, 直接 应 用 在 B 上 .演示 n= 
6 时 的 情形 如 下 : 


B -— BG, = 


ooo + X 
cocco < x X 
= — =< x X o 
= = x< x Bc 
= x x< = = = 
X x — < — = 


- Ü 
我 们 然后 能 够 决定 Givens 旋转 Ui, V2,U2,°°, V, ,, M U, 18 
HEBES LA e ih OT TR [E 


B -——UiB = 


c oo = = x 


B -— BY, = 


x 
Soot X X soso x X 
COO X X Socio co X x + 
So X X Senne X x — o 
= x X = = Gee x X coc 
X X OT SO — x x = oss 


co Oo — — 2 
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x x 000 0 
Oo x x + D 0. 
0 0 x x 0 Ü! 
B- UB = | 
0 0 0 x x D: 
0 0 0 0 x < 
0 0 0 0 0 x 


等 .这 程 结束 时 得 到 新 的 双 对 和 角 阵 BB, 它 与 B 的 关系 如 下 : 
B(UI ,.-UDB(G(iVyc7V, 4) = UBV 

从 每 个 V 的 形式 VW = 901,241,080) Ci =2: n - 1) Vei = 
Qel. 由 隐 式 名 定理 可 以 断言 V 和 Q 实质 上 是 相同 的 . 这样, 通过 
直接 处 理 双 对 角 阵 B 就 可 隐 式 地 完成 从 到 了 = BT B. 

当然 ,要 使 结论 成 立 , 所 论 的 三 对 角 阵 必须 不 可 约 . 由 于 BB 
的 次 对 骨 元 的 形式 为 dj;_! 下 ,显然 ,必须 检查 双 对 骨 带 上 的 零 元 
3 ANA k, B fii 0, Dt] 


B, 0 1 
B= | m. 

0 B dn — Ë 

k nak 


而 原来 的 SVD BRA RB, 与 B; HATRED. E w; E 
kid, =0, WHR 一 系列 Givens 变换 可 使 £, AS. BU An = 
6 A & 23,48 8 (3,4), 3, 5) 及 (3,6) 平 面 进 行 旋转 ,就 可 把 第 3 
行 化 为 零 . 


x x 00 0 0 x x 0 00 0 
0 x x 0 0 0 0 x x 0 0 0 
B= 0 0 0 x 0 0 G0 0 000 + 0 
0 0 0 x x 0 0 0 0 x x 0 
0 0 0 0 x x 0 0 0 0 x x 
0 0 0 0 0 x 0 000 0 x 
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ix x 0 0 0 0 x x 0 0 0 0 
o x x Q0 0 0 0 x x Ü Ü Ü 
(3,5 :0 0 0 O 0 +| üe O0 0 0 0 0 0 
[ 0 0 x x 0 0 00x x 0 
0 0 0 0 x x 0 0 0 其 
0 0 0 0 0 x 000 0 0 x 


# d, 70, X SEHR —1,5n),(n 7-2, n), C1, n PET AR P 
旋转 ,把 最 后 一 列 化 为 零 .这 样 ,者 Of f,- (= 0 K druda, =0, M0 
我 们 可 以 降 阶 . 

”算法 8.6.1(Golub Kahan SVD 步 又 ) 给 定 双 对 前 阵 BE 
RX" Aa ALSAMAAAALR, FREER A Mat A HEB — 
U'BVAAAZB ERP UPVALERM. 实质 上 ,VW 是 对 T= BIB 
应 用 算法 8.3.2 获得 的 正 交 阵 . 

& uXT-B'B ER 2x2 PERRE fa € Hr od 


yr H 
== L12 
for £—1:»-—1 


AE c= cos( pP s = sinif HE 
[y =) |= ol 
á cC 

B= BG(k,k +1,6) 


Y= Oye z= by +Ë 
确定 c= cos( 6) Fe s= sin( 0 )1# F 


TRG 
-y cilzJ lo 
B=G(k,2+1,8)"B 
if L<n—1 

y= Og k+l z= Og ns? 
end 
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为 了 有 效 地 实现 该 算法 ,应 分 别 用 数组 a (1: nA f(1:n — 3X 
Tri 中 对 角 元 和 上 次 对 角 元 素 ,并 且 需 30z 个 flop A 2n 个 平方 
根 运算 . RE U At 6mn 个 flop, BR V $8 6>° + flop. 
— fit Hh , Act JL Lit SVD IER, LU fs ú of, Bee 
AST}. Als B BI BR L3 29 988 BS BE W| , 8 qe S 
if, lel dia |l d, 0) 
Id; lel Bi 
KP e 为 单位 会 入 误差 的 -个 小 倍数 ;而 | 上 是 计算 上 简便 的 范 
数 . 
把 算法 5.4.2{ 双 对 角 化 ), 算 法 8.6.1 以 及 前 面 所 述 的 分 离 
计算 结合 起 来 , 便 可 得 到 下 述 算法 . 
算法 8.6.2(SVD 算法 ) 给 定 ACR” *( mien) BRe(A# 
位 会 入 的 小 倍数 ), 下 述 算 法 计算 UTAV= D + E *# š A.X T 
VER" 7 AEX, VER" FLERE, DECR™* "4 SHEL E 
A |E | æu || A lla. 
用 算法 5.4.2 来 计算 双 对 角 线 化 . 


oi (Ui U) ACV 7 V. o). 


until q =n. 
对 i=lin — 1,818; 5411 Se (| bu! + | 1 ) X bi ia] 
为 零 ， 
RRA q PR) p 使 得 车 


Bi 0 0 P 
0 B; Ü in—-p-q 
0 0 Bj g 


b n-p-q q 
M| Bas 为 对 角 阵 且 Bett ALAM KAR SE. 
if z< x 
if By 的 茶 对 角 元 为 零 , 则 调整 该 行 的 上 次 对 前 元 为 零 . 
else 
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对 Bz 应 用 算法 8.6.1 
B 7 diag( 1,,U ,L,«.,,-,) Bdieg( Ip, V 1) 
end 
end 


end 
该 算法 所 需 工 作 量 及 其 数值 性 质 已 在 $6.5 Wie. 
例 8.6.5 车 算 法 8.6.2 应 用 于 


1 1 0 0 
A= 0 2 1 0 
10 0 3 1 
0 0 
Bj Y k xT A te F Pt z£ lk $k + SE: 

Iteration OClex1) O(|aaz/} Olay]? 
1 10° 10° 10" 
2 10° 10° 10" 
3 10° 10° 10" 
4 10? 107! 107? 
5 10? 10^! 105 
6 10° 10°! 10 7 
7 10° 10! uri 
8 10° 10 * 

9 10^! 10 ^ 

10 10^! rod 
11 10^ 
12 10 12 
13 W sir 

EAAS. 


8.6.3 Jacobi SVD 算法 


Ht Š 8.4 中 的 Jacobi 算法 用 于 求解 SVD 问题 是 很 显然 的 . 代 
蔡 求 解 一 系列 2x2 对 称 特征 值 问题 ,我 们 求解 一 系列 的 2X2 
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SVD 问题 .这样 , 对 一 给 定 的 指标 对 (z,9) 我 们 计算 一 对 旋转 阵 


使 得 
, T | 


Gap C2 

抑 题 8.6.8. 导致 的 算法 称 为 双边 的 ,因为 每 个 以 正 包 含 一 个 左 梯 
和 右 乘 . 

单 边 的 Jacobi 算法 包含 一 系列 的 两 列 向 量 的 正 交 化 ,对 一 给 
定 指 标 对 {pp,9), 选 定 一 个 Jacobi 旋转 (pp,o,8) 使 得 AJCp,q.0) 
的 pp 和 gq AAAI SS. 见 题 8.6.8. 注意 这 对 应 于 使 AT4& "PD, 
9g) 和 (9g, 轧 ) 元 为 堆 .--… 旦 AV HAE ER SVD 的 其 他 部 分 (UU 
MEA ARIMA AV = UX 得 出 . 


>] 题 
8.6.1 ERF BCR" RRA ES FL AE WJ B 在 其 对 角 
线 或 上 次 对 角 线 上 一 定 有 一 个 零 
工 
8.6.2 HAER?” mn 的 奇异 向 量 米 给 出 。 ^ | 的 特征 向 量 
Ax. 


8.6.3. 给 出 一 个 用 复 Householder FRE ELE A HEHN 
的 算法 . 


— Č 
8.6.4 ara [^ “| E EXER ARES A = B+C, 


COCR" ORARAA BE p b Z IBI BO 3E € 
3.6.5 完成 定理 8.6.1 的 证 明 ， 
8.6.6 Ü n-2m HSER’ VRE X] RIS — fH EE LAA Te 


BE PER” "使 得 PTSP 具有 如 下 形式 : 
T 
PTSP = » B |" 
B OF im 
TH n 


描述 B. ARS AA BOR SVD SPAR ITS S BRT PE [5] E. [8] EE = 
È n=2m+1 的 情形 . 

8.6.7 (a) 令 

- 530 - 


c= ly i 


AEM ,给 出 一 个 稳定 算法 来 计算 As, 2 + 2 = 1. ER 


s= |, e 
为 对 称 阵 .(b) 用 Jacobi ZAHA HFAA (a) 8 8 -EEA RALHA C 的 
SVD. (ce)(b}) 部 分 可 用 来 提出 用 来 计算 AC Rn" "BU dip FR ED Jacobi 型 算 
法 .对 于 给 定 的 (pp,g), 记 <o, 确 定 Jacobi 变换 Jip, g OM J p.q 9. (3 
车 
B = Jib, g, D AJC prg: 0), 
则 5,, = by, =O. EH 
off( BY = ofA)? — 64, — bta- 
怎样 确定 p,q UO? 此 算法 应 作 何 履 正 ,以 用 来 处 理 当 ACI" =m > BOT 
ER? ` 
8.6.8 79 xr,y€ RM E LIE E: Q 
2-|[5 
给 出 一 计算 c Als 的 稳定 算法 使 得 Lx ,yj8 的 列 相互 正 交 . 
8.6.9 U BER A EX AR, bu = 0. 说明 如 何 构 造 正 交 阵 路 和 
V( 一 系列 Givens BRIE) ,使 得 DT BV 2558 0 列 为 堆 的 上 双 对 角 阵 . 


8.6.10 WBC R'"BRRAM AIH d (1: n) MERA wR 
f(1:n — 10880 E XOU ZR EE. RSE ES E BE 8.5.1 的 奇异 值 分 解 . 
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$8.7. 一 些 广义 特征 值 问 题 


给 定 一 对 称 阵 A C In" "AI BRE EE BCX" 3k) = 
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虑 如 何 寻 找 FAE x 和 各 标量 使 得 4&r= 4Bzr. 这 就 是 对 称 正 
定 广义 特征 问题 .标量 A 被 认为 是 广义 特征 值 . 随 着 À ELA — 
AB 定义 了 一 处 阵 束 ,我 们 的 任务 是 确定 
ACA,B) = {A | det(A — AB) = 0}. 
一 个 对 称 正定 广义 特征 问题 用 一 个 等 价 变 换 可 以 化 为 一 个 等 价 的 
问题 ， 
A 一 AB "i 5e (XT! AX) — ACX! BX) FR. 

这 样 , 若 X dESPSRQLACA.B)- A(X' AX, X! BX). 

在 这 一 节 , 我 们 要 提出 通过 仔细 选择 XX 来 提出 求解 这 种 特征 
问题 的 保持 结构 不 变 的 不 同 算法 .有 关 的 广 关 奇异 值 分 解 也 同时 
bie. 

8.7.1 数学 背景 


我 们 要 找 一 个 稳定 而 有 效 的 算法 来 计算 XL X AX 和 
X BX 都 化 为 "标准 型 ”所 追求 的 明显 形式 是 对 角 型 . 
3EXB 8.7.1. RA PB Xon X n THE, CX C(u )2 
C(u) = uA - (1- .)B, u EF. (8.7.1) 
HARA uc€[0,1].4& f£ Clu) EAE 8 2 FE JF E. 
null(CCu)) = noll A) f] nill( B), 
WA ART EE OX RG X AX fe X I BX IgE AE. 
证 明 R € [0,1], E5 Cle, HIER ë BE H RAE 
null( C(p)) = nuk A) f] null( B). > 
D 0 
QiC()0Q; = » 0 
是 CC) BY Schur 分 解 及 定义 X= Qidiag( D "^, En-a). 
若 A, = X{AX,,B,=X{BX,,H C= X1 CGOX, Wl 
C, = p |= pA t+ (1- 2B,. 
由 于 spantene} = null(€4) = null A) fl null( B), nTÀil A, 
和 B, 都 有 以 下 分 块 结构 ; 


|. D = diag(d,.°-',d,)},d; > 0 
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[^u Mi m Jé 

ET = B, = 

Ü Qda- Ü 0n — È 
k on-—k k n—k 


MA F= uA +l - 2) By. 
设 2340. AM Z!B Z = diag(b,i ++, b Æ By AY Schur 分 
MARIS X-X;dag(Z,I, ,)WJ 
X™BX = diag( 54,7, 5,,0,--,0) = Dg, 
且 


XTAX= Lx'(e(o) - (1 - p)B)X 


Mt Sca on]en. 


5—J 8.4 &-0,8]5 ZAZ = diaga o, an) Æ Ay BY 
Schur 4} #, HS X = X,diag( Z, 1, ,). BIL, YE X #h EE F , 
X! AX fX! BX ANA. o 
通常 ,由 于 A 或 者 B 是 正定 阵 ,定理 8.7.1 的 条 件 能 够 满足 ， 
推论 8.7.2 FA-ABOR “是 对 称 正定 的 , 别 厅 在 一 非 奇 
fÉ X = [rint] 使 得 
XlAX = diag(a,,*7,a,) H X'BX = diag(6,,"-,6,), 
m BH.,Ar;—AJBx;SH i= lin, KAP A;= abi. 
证 明 在 定理 8.7.1 中 令 y=0 我 们 看 到 对 称 正定 束 同 时 对 


角 化 .推论 其 余部 分 易 证 明 . o 
43.7.1 # 
_ [229 163) ， _ k 91 
163 116 59 43 
MJ A —AB 是 对 称 正定 阵 且 A(A,B)= 15, - 1221.3 


La | 
X- ; 
~4 7 
8] XT AX —diag(5, - 1)X. X! BX = diag(1,2). 
Stewart {1979) 给 出 满足 
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c(A,B) = min. (x Aa)? + (2' Bry 0 (8.7.2) 
Ad 17 


的 对 称 束 A — AB 的 扰动 理论 .标量 CCA, BER A - AB B! 
Crawford &. 
EE 8.7.3 GR A - AB X — F n Xn 对 称 正定 束 , 具 有 特征 
值 
Ay = À> 这 
jk Ea 和 Ep cn Xn 对 称 阵 , 且 满足 
= [Ea l3 * || Eel i < cCA,B). 
MJ(A + EA)  A(B - Kp) 对 称 正定 ,其 特征 值 
pim Gu. 
对 7 二 1:n 满足 
| arctan(A,) — arctan( g) | 
&arctan( e /c(A,B)). 
WEAR AL Stewart (1979). i 


8.7.2 求 对 称 正 定 乔 题 的 方法 


我 们 转 来 考虑 算法 ,首先 给 出 一 个 既 用 Cholesky 分 解 又 用 对 
称 QR 算法 的 求解 对 称 正定 问题 的 方法 . 

算法 8.7.1 XÈ A= ATCR "fF B= BTC R>" R P B 为 
ELSE, EAHA JE X BAX BX = I, B XTAX =di- 
aglas in ). 

用 算法 4.2,2, 计 算 Cholesky 分 解 B= GG 77. 

计算 C=G AGT 

用 对 称 QR 算法 计算 Schur 分 解 Q TCO = diag(al,… ran) 

4 X-G TQ. 

EREM 14 0? 个 flop. 在 实际 应 用 中 ,4 能 被 矩阵 PESE. 
TÉ, Martin 和 Wilkinson (1968c) .注意 到 

ACA,B)= A(A,GGT) = A(G ! AG ,I) 
= ACC) = lai sal. 
* 4537 “ 


Ll Amm Mm | 


fia, 是 由 算法 8.7.1 求 得 的 特征 值 , 则 能 证 明 a; C a (G 4G 1 
+E). HP | E; lou ll Allo] B |: 3X 5,25 B 是 病态 的 ， 
则 由 于 舍 人 误差 影响 ,即使 a; 是 良 态 的 广义 特征 值 ,也 会 严重 损 
dra, 的 值 . 当然 ,在 此 情况 下 AE C— G OAG 可 能 有 一 些 很 
大 的 元 案 , 故 G 是 病态 的 .在 算法 8.7.1 中 用 VD CREE 
G ,有 时 能 克服 这 -一 困难 ,其 中 V'gv = D RB 的 Schur OF. & 
D 的 对 角 元 从 小 到 大 排序 , 则 C 的 大 元 集中 在 左上 角 . 这 样 ,计算 
C 的 一 些小 特征 值 不 会 有 太 大 的 舍 人 误差 影响 . {或 者 说 直观 上 
Dian ith). 更 进一步 的 讨论 ,请 参阅 Wilkinson (1965, 337 ~ 338 


页 ). 
例 8.7.2 X 
1 2 3 [0-001 0 Ü 
TT 和 Geli TESI 
5 61 2 1 0.001 
RB=GG'.8 A — AB MAR LALA 
a, = — 0.619402940600584, 


az = 1.627440079051887. 
车 使 用 17 f PR RRR, Det aa QR 算法 用 到 
ü(D'!? v'AVD '?)w ip JE 9 Pr f (iR s| MEMAL EP B 
= VDV! X B 的 Schur 分 解 . 另 一 方面 , 若 用 算法 8.7.1. 则 

à, = — 0.619373517376444, 


à; = 1.627516601905228, 

只 得 到 4 位 准确 青 效 数 字 , 其 原因 在 于 e; (B)21015. 

AA B 的 适当 凸 组 合 代 于 BB, 有 时 能 改善 算法 8.7.1 PE 
ËE X Het. 变动 后 的 矩阵 束 之 特 征 值 与 原 算 阵 东 特征 值 的 关系 
已 在 定理 8.7.1 的 证 明 中 详细 说 明 . 

涉及 到 算法 8.7.1 的 其 他 困难 都 是 赎 绕 如 下 事实 ; 即 信 A 和 
BaHERRE, G (AG IT 也 是 满 阵 . 这 是 一 个 严重 问题 ,因为 实 
际 中 许多 对 称 正 定 问 题 都 是 大 型 稀 忠 的 . 
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Crawford (1973) 已 指明 当 A 和 B 为 带 形 阵 时 ,如 何 实现 算法 
8.7.1. 但 是 , 除 此 之 外 ,同时 对 角 化 方法 对 大 型 帮 朴 对 称 - 正 定 问 
题 是 行 不 通 的 . 
另 一 个 想法 是 将 Rayleigh MERETHE: 
给 定 Zor | X | ,=1 
for 2=0,1,°" 
Up riAr,/rijBxr, (8.7.3) 
RECA — nm B) 4 = Bay FF e+) 
Tera Za ll Zea ile 

end 


该 选 代 的 数学 基础 是 
A= 


al 


a Br’ 


3 


(8.7.4) 


使 
f(A) = | Ax — ABz lg (8.7.5) 
达到 最 小 ,其 中 | le EXA [| z lS — z!B z.(8.7.32 53 
(8.4 AY ALAS CHR OCURRE TREES B BB CA 
- AB) z = x. Ef B EIE IERI RARE XO E Ze: 
£X QER, H QI Qo= I, 


for &£=1,2,°- 
AK BZ, = AQ, SE HZ (8.7.6) 
Z; = QR, (QR 分 解 ) 
end 


TEE EGXSEULTTECT.3.4) FH B A 替换 县 ”和 .其 实用 性 
与 解 取决 于 能 否 容易 地 求解 形 如 BZ = y 的 线性 方程 组 . 

A MB 有 时 会 大 得 无 法 实行 (8.7.3) 和 (8.7.6). 在 这 种 情况 
下 ,可 以 借助 于 一 些 梯 度 算 法 和 一 些 坐 标 松弛 算法 .那里 有 丰 宣 的 
文献 介绍 可见 Stewart (1976). 
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8.7.3 RBA 


我 们 以 形 如 ATA - ABT BCH Pp AC on"; BE gon) 
PRR HI -- 26 PÉYRGK RK 这 个 束 构 成 广义 奇异 值 分 解 
(GSYD) 的 基础 ,该 分 解 在 一 些 带 约束 的 最 小 二 乘 问题 中 是 有 用 
的 , (25 IB] 812.1). 注意 到 由 定理 8.7.1 可 知 存在 非 奇异 阵 
XEN EXT ATAX BX TB BX 均 为 对 角 阵 .GSVID 的 
价值 在 于 不 必 形 成 ATA 和 BTB 就 可 完成 其 对 角 化 . 

定理 8.7.4( 广 义 奇 异 值 分 解 ) BAMA ACR"T mln 
ABC R?*", AE ERM UCI”, yC PXP fo ik EXC 
R” niti 

UTAx = C = diag(ci, 7, ca), c; = 0, 
VIBzr= S = diag(s,,*::,s,), 5; zz D, 
JP g—min(p,n). 

证 明 该 分 解 之 证 明 发 表 于 Van Loan (1976). 我 们 根据 
Paige 5j Saunders (1981) 给 出 -- 个 更 有 构造 性 的 证 明 . 为 清楚 起 
见 ,我 们 设 null(A ) (1 null(B) = 101 B. pn. RTE iAH 
到 所 有 情形 的 工作 留 给 读者 . 

Eo" 


l ^]. [Je 


是 QR 分 解 ,其 中 Q EE”, Q,C R 23 RER”, Paige 和 


Saunder 证 明了 在 

Q, = UCW!, Q, = VSW" (8.7.7) 
意义 下 ,@ HQ. 的 奇异 值 分 解 是 相关 的 .这 里 ULV Ti W 为 正 
AERE, 


C= diagg(c), 0 =< cÚ sex, 
S= diag(s), HP s m Sas 
H CTC € STS — I,. (8.7.7) M48 82.6 的 CS 分解 的 变形 ， 


ee 


MERTA A = QR = UCCW'R) fi B = QR 
VS( WIR). 

iib X-(W'R) ',D,=C AD,=S MARA E E R 
AY nj 3x dE n] H ffi 4E null( A) f] nullC B) = 101145. [| 

集合 (A, B=} 01/5107. c a Zs 的 元 素 称 为 A 和 B 的 广义 
ASMA TER. cCo(A BAS O CACA'A,B'B) ULE 
是 SVD 的 推广 BD B=, M o(A,B)=c(A). 

由 于 Stewart (1983) #0 Van Loan (1985) 年 已 指出 怎样 稳定 
计算 CS 分 解 ,GSVD 的 证 明 在 实际 上 就 亚 得 很 重要 . 惟一 棘手 部 
分 是 求 W'R BE LMAX. 注意 到 和 =[r z, | 的 列 满足 

SATAz, = cB Bz;, i=1lin, 
REF 5-40, AT Az; — tB T Ba; ,其 中 o; = cj;7s,. 于 是 ,zx; RA 
(A, BSA” X dp Sen E. 

在 几 种 应 用 蛙 , 需求 某 些 设 定 的 广义 奇异 向 量 于 空间 
span| =; ,… ,zi | 的 一 组 正 交 基 .我 们 来 说 明 不 用 求 任何 矩阵 的 道 
或 交叉 乘积 就 可 完成 这 个 任务 . 


。 计算 QR 分解 
Q 
allo 
* 计算 CS 分 解 
Q, = ucw' Q, = VSWT 


对 C ,S 对 角 阵 排序 使 得 


less Car Sel = le S, |. (Cu S, | ` 
. 计算 正 交 阵 Z 和 上 三 角 阵 全 使 得 TZ = W! R ( LE 
8.7.5) 22 EX !-WR-TZ,W| X-Z'T ! H. Z 
a E 行 是 spaniz,, x |) EAA. 
习 题 
8.7.1 WF ACR'C^R XA ERBER GCR"7RTF-fbpHdEA GE EH 
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C=G !AG 的 一 个 有 效 算法 . 

8.7.2 HACE MAR BOCK "是 对 称 正定 . 试 给 出 一 个 利用 
Cholesky 分 解 和 对 称 QR 算法 计算 AB 特征 值 的 算法 . 

8.7.3 证 明 如 果 CES BUMI HAAI, MAREN A AB, 
BARA 548 C = AB ' xübEB]I T x] frs A — AB 基本 上 是 共有 一 般 性 的 . 

9.7.4 如果 A LB SAX RAE fü ce, EAA RE Ax = ABs 问题 
dp — E LH y e dB la gi. 

8.7.5 给 定 YER" ”证明 怎样 计算 Householder 矩阵 Hy, , H, 使 
$$ YH,:-H,— T E COA. BH, ff SS TEC. 


8.7.6 假设 
0 AJT Bi 0 1Ty 
N NIME s JEL 

其 中 ACR") p ER” H pe" Ge B, 和 Bs 是 正定 的 且 有 相 
应 的 Cholesky 三 角 阵 G, 和 G;. RM KERRI X EEM Gr AG; T 的 
奇异 值 的 关系 . 

8.7.7 A AB EAM ERIE. 说明 如 何 用 Cholesky 分 解 和 Ts 分 解 
来 计算 (4 ,B) 和 相应 的 特征 问 量 . 


本 他 注释 与 参考 文献 


关于 对 称 正定 点 的 计算 方法 之 极 好 的 综述 可 怒 : 
G. W. Stewart (1976). “A Bibhographical Tour of the Large Sparse Generalized Eigenval- 


ue Problem,” 


in Sparse Matriz Computations, ed. , J, R. Bunch and I. T. Rose, Aca- 

demic Press, New York. 
358 9| d VP S CE : 

R. S. Martin and J. H. Wilkinson (1968c). “Reduction of a Symmetrie Eigenproblem Ar 
= ABr and Related Problems to Standard Form," Nummer. Math. 11, 99—1]0. 

G. Peters and J. H. Wilkinson (1969). “Eigenvalues of Ax = ABx with Rand Symmetric 
A and B," Comp. f. 12, 398—404. 

G. Fix and R. Heiberger (1972). "An Algorithm for the DIl-Conditioned. Generalized 
Eigenvalue Problem," SLAM J. Num. Anal. 9, 78--88. 

C. R. Crawford (1973). "Reduction of a Band Symmetric Generalized Eigenvalue Prob- 
lem," Camm. ACM 16, 41—44. 

A. Ruhe (1974). “SOR Methods for the Eigenvalue Prohlem with Large Sparse Matri- 
ces,” Math. Comp. 28, 695—710. 


+ 542 - 


C. R. Crawford (1976). “A Stable Generalized Eigenvalue Problem,” SIAM J. Num. 
Anal. 13, 854—860. 

A. Bunse-Gerstner (1984). “An Algorithm for the Symmetric Generalized Eigenvalue 
Problem," Lin. Alg. and Its Applic. 58, 43—68. 

C. R. Crawford (1986). “Algorithm 646 PDFIND; A Routine to Find a Positive Definite 
Linear Combination of Two Real Symmetric Matrices,” ACM Trans. Math. Soft. 12, 
278—282. 

C. R. Crawford and Y. S. Moon (1983). "Finding a Positive Definite Linear Combination 
of Two Hermitian Matrices,” Lin, Alg. and Its Applic. 51, 37—48. 

W. Shougen and Z. Shugin (1991). “An Algorithm for Ar = ABr with Symmetric and 
Positive Definite A and B," SIAM J. Matrir Anal. Appi. 12, 654—660. 

K. Li and T-Y. Li (1993). “A Homotopy Algorithm for a Symmetric Generalized Eigen- 
problem,” Nesnerical Algorithms 4, 167—195. 

K. Li, T-Y. Li, and Z. Zeng (1994). "An Algorithm for the Generalized Symmeiric 
Tridiagonal Eigenvalue Problem,” Numerical Algorithms 8, 269—291. 

H. Zhang and W. F. Mass (1994). "Using Parallel Handed Linear System Solvers in Gen- 
eralized Eigenvalue Problems,” Paratled Computing 20, 1089— 1106 

fel Ej 4E PE XR PE 2 XT A PE E PT He 31 ; 

A. Berman and A. Ben-Esrael (1971). “A Note on Pencils of Hermitian or Symmetric Ma- 
trices," SIAM J. Applic. Math. 21, 51—54. 

F. Uhlig (1973). “Simultaneous Block Diagonalization of Two Real Symmetric Matrices,” 
Lin, Alg. and its Applic. 7, 281—289. 

F. Uhlig (1976). "A Canonical Form for a Pair of Real Symmetrie Matrices That Generate 
a Nonsingular Pencil,” Lin. Aig. and Its Applic. 14, 189—210. 

K. N. Majinder (1979). "Linear Combinations of Hermitian and Real Symmetrie Matri- 
ces,” Lin. Alg. and Hs Applic. 25, 95—105. 

关于 对 称 -定型 问题 我 们 所 提出 准 扰 动 理 论 来 源 于 

G. W. Stewart (1979). “Perturbation Bounds for the Definite Generalized Eigenvalue 

Problem," Lin. Alg. and Its Applic. 23, G9—8R6. 
也 见 

L. Elsner and J. Guang Sun (1982). “Perturbation Theorems for the Generalized Eigen- 
value Problem," Lin. Alp. and its Applic. 48, 341—357. 

J. Guang Sun (1982). "A Note on Stewart's Theorem for Definite Matrix Paus," Lin. 
Alg. and Its Applic. 48, 331—339. 

J. Guang Sun (1983). “Perturbation Analysis for the Generalized Singular Value Prob- 
len,” SIAM J. Numer. Anal. 20, 611—625. 


C. C. Paige (1984). “A Note on a Result of Sun J. -Guang: Sensitivity of the CS and GSV 

Decomponitions,” SIAM J. Numer. Anal. 21, 186—191. 
JSM SVD A HEEE T 

C. F. Van Loan (1976). “Generalizing the Singular Value Decomposition,” SIAM JT. 
Num. Anai. 13, 76— 83. 

C. C. Paige and M. Saunders (1981) "Towards A Generalized Singular Value Decomposi- 
non, SIAM f. Mum. Anal. 18, 398—403. 

B. Kágsirom (1985). “The Generalized Singular Value Decomposition and the General A 
— AB Problem,” BIT 24, 568—583. 

计算 CSAP 2a RRA BOE REO TRE 

G. W. Stewart (1983). “A Method for Computing the Generalized Singular Value Decom- 
position," in Matrix Penciis, ed. B. Kagstrom and A. Ruhe, Springer-Verlag, New 
York, pp. 207—220. 

C. EF. Van Loan (1985). “Computing the CS and Generalized Singular Value Decomposi- 
ton, ^ Numer. Math. 46, 479—492. 

M. T. Heath, A. J. Laub. C. C. Paige, and R. C. Ward (1986). "Computing the SVD 
of a Product of Two Matrices," SEAM J. Sei. and Stat. Camp. 7, 1147—1159. 

C. C. Paige (1986). “Computing the Generalized Singular Value Decomposition,” SIAM 
J. Sci. and Stat. Comp. 7, 1126—1146. 

L. M. Ewerbring and F. T. Luk (1989). “Canonical Correlations and Generalized SYT) 
Applications and New Algorithms," J. Comput. Appl. Math. 27, 37—352. 

J. Erxiong (1990). "An Algorithm for Finding Generalized Eigenpairs of a Symmetric Def- 
inite Matnx Pencil," Lin. Alg., and Its Applic. 132, 650l. 

P. C. Hansen (1990) “Relations Between SVD and GSVD of Discrete Regularization 
Problems in Standard and General Form,” Lin. Alg. and Its Applic. 141, 165—176. 

H. Zha (1991). "The Restneted Singular Value Decomposition of Matrix Triplets,” 
SIAM J. Matrix Anal. Appl. 12, 172—194. 

B. De Moor and G. H. Golub (1991). "The Restricted Singular Value Decomposition: 
Properties and Applications,” SIAM J. Matriz Anai. Appi. 12, 401—425. 

V. Hari (1991). “On Paris of Almost Diagonal Matrices," Lin. Alg and Its Applic. 
145, 193—223. 

B. De Moor and P. Van Dxoren (1992). “Generalizing the Singular Value and QR Decorn- 
positions," SEAM J. Matrir Anal. Appl. 13, 993—1014. 

H. Zha (1992). “A Numerical Algorithtn for Computing the Restricted Singular Value De- 
composition of Matrix Triplets,” Lin. Aig. and Its Applic. 168, 1—25. 

R-C. Li (1903), “Bounds on Perturbations of Generalized Singular Values and of Associat- 


- 544 ， 


ed Subspaces,” SIAM J. Matrix Anal. Appt. 14, 195—234. 
KÉ. Veselie( 1993). "A Jacobi Eigenreduction Algorithm for Definite Matrix Pars,” Nu- 
mer. Math. 64, 241—268. 
Z. Bai and H. Zha (1993). “A New Preprocessing Algorithm for the Computation of the 
Generalized Singular Value Decomposition,” SIAM J. Sez. Comp. 14, 1Q07—(082. 
L. Kaufman (19933. "An Alporithm for the Banded Symmetric Generalized Matrix Eigen- 
value Problem,” SIAM J. Matrix Anal. Appl. 14, 372—389. 

G. E. Adams, A. W. Bojanezyk, and F. T. Luk (1994). "Computing the PSVD of Two 
2X2 Triangular Matrices," SIAM J. Matrix Anal. Appl. 15, 366—382. 

Z. Drmar( 1994). The Generalized Singular Value Problem. Ph. D. Thesis, Fern Uni- 
versitat, Hagen, Germany. 

R-C L (19945. “On Eigenvalue Variations of Rayleigh Quotient Matrix Pencils of a Definite 
Pencil,” Lin. Aig. and Its Applic. 208/209, 471—483. 


SIL Lanczos 方法 


$9.1. 方法 的 导出 及 收敛 性 

89.2. 实用 Lanczos 方法 

$9.3 应用 于 Ax = 6 和 最 小 -来 

$9.4 Arnoldi 方法 与 非 对 称 Lanczos 方法 


在 本 章 ,我 们 介绍 Lanczos 方法 , 它 可 以 用 来 解 特定 的 大 规模 
稀 朴 对 称 特 征 值 问题 Az = Ar. BARES RE See A 进 
行 局 部 三 角 和 出 .然而 ,与 Householder 方法 不 同 的 是 ,在 算法 过 程 中 
不 会 有 满 的 子 矩 阵 产 生 . 同 样 重要 的 是 ,4 的 两 端的 特征 值 的 信 
息 在 三 角 化 完成 之 前 早 得 密 就 已 出 现 . 因 此 ,在 只 需要 和 定 阵 和 的 
少量 最 大 或 最 小 特征 值 的 时 候 ,Lanczos 方法 有 明显 的 优越 性 . 

在 $9.1 中 ,我 们 导出 了 该 算法 并 给 出 了 它 确 切 的 运算 步 最 ; 
详细 讨论 了 Kaniel-Paige 理论 的 关键 部 分 .此 理论 解释 了 Lanczos 
方法 惊 入 的 收 钱 性 质 . 不 幸 的 是 , 舍 人 误差 使 得 Lanczos 方法 在 实 
际 中 难以 应 用 .其 核心 问题 是 近代 过程 中 产生 的 Lanczos In] EE 2 
失去 正 交 性 .为 此 ,在 $9.2 中 ,给 出 了 几 种 处 理 这 一 问题 的 办 法 ， 

在 $9.3 中 ,我 们 将 说 明 如 和 何 用 Lanczos 方法 的 思想 来 解决 奇 
异 值 问题 ,最 小 二 乘 问题 及 线性 方程 组 问题 .特别 有 意思 的 是 导出 
了 求解 对 黎 正 定 方 程 组 的 共生 稀 度 法 .下 一 章 将 进一步 探讨 
Lanczos 方法 与 共 瑶 梯度 法 之 间 的 联系 ,在 人 $9.4 中 ,我 们 讨论 了 
建立 在 Hessenberg 分 解 基础 上 的 Arnoldi 过 代 法 和 (有 时 ) 可 用 来 
三 对 第 化 非 对 称 阵 的 Lanczos 方法 . 


预备 知识 


$9.1 一 入 9.3 需 要 第 五 , 八 章 的 知识 , $89.4 需要 第 七 章 的 内 
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容 .本 章 的 内 容 其 依赖 关系 如 下 : 
$9.1-——-$9.2—- $9.3 


89.4 
Brown, Chu, Eltison 和 Plennmons( 1994) 收集 了 大 量 的 有 关 
Lanczos 方法 的 论文 . 其 他 的 补充 参考 文献 包括 Parlett (1980), 
Saad (1992) 和 Chatelin (1993). Cullum 和 Willoughby (1985a, 
198Sb) 的 两 着 书包 括 了 算法 的 分 析 与 软件 . 


$9.1. 方法 的 姓 出 及 收 伍 性 


假定 ACR" KE PHM URE, 有 是 只 需要 求 出 它 的 
少数 几 个 最 大 或 最 小 的 特征 值 .这 个 问题 可 用 Lanczos 于 1950 年 
提出 的 方法 解决 .此 方法 产生 一 列 三 对 角 阵 T ,其 最 大 与 最 小 特 
征 值 越 来 越 好 地 近似 A 的 最 大 与 最 小 特征 值 .本 节 将 导出 这 一 技 
巧 并 研究 其 确切 的 运算 特性 . 在 本 节 中 ,用 4, 代表 第 ;个 最 大 的 
特征 值 . 


9.1.1 Krylov 子 空间 
导出 Lanczos 算法 的 方式 有 好 凡 种 .我们 倾向 于 利用 求 


Rayleigh BE r(x) =% = 20 的 优化 问题 来 引入 该 技巧 ,从 而 


它 惊人 的 政策 性 不 会 来 的 太 突然 由 定理 8.1.2 知 ,r(x) 的 最 大 、 
Be MASE ACA) SA, (A). ABE g, ER" BIER HSH. > 


Ty eyl 
M= AKOTAQ) = may REY -max ry) cA), 
my = A (ORAQ) = min — AP i - = min r(Qy) 2 ACA), 


其 中 OQ, = qi," La] ARAE Gi ,使 得 M; TM nm; eA, CA) 
| 和 A, CA ae spo P EL, E PT Se H Lanczos 方法 . 
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it u€spaniqu,c7.qui HL M, r(u,). H T r(x RBH 
iti] 
V rr) (Ar - r(ír)r). 


增加 最 快 .所 以 ,如 果 选 取 og, . UE 
Vr(u4) € spani qr." gent» (9.1.1) 
我 们 有 Myo) > M, (X B iB E D Cu, 250). AR, 如果 o, € 
spani qist sge H riu) = me, RINER ç, | 使 得 
Vr(o,) € spani gists yl!, (9.1.2) 
因为 r(xES BR BI D, (z) TERR. 
初 看 起 来 ,要 寻找 一 个 单独 的 向 量 gi ,1 满足 两 个 条 件 似 和平 不 
可 能 ,然而 ,因为 Yr(z)Espanix,Axr| ,如 果 
span{ qi ,gl = span| gi1,Ag1,… ,A 
AER gi+1 使 得 
span {gis gege} = spaniqi, Aquin, A* lgi, Argi!, 
则 很 明显 49.1.1) 和 (9.1.2) 可 同时 满足 .于 是 ,导致 了 计算 Krylov 
子 空间 : 
K(A,qi.&) = spaniqi. Agi, Afg] 
的 标准 正 交 基 问 题 . 这 怡 好 就 是 8.3.2 节 中 人 碰 到 的 Krylov 矩阵 
K(A.qi,n)—[qi,Aqi, 7, A" I qu 1894825 8]. 


9.1.2 EHHE 


AY í REA 2 Hb X tH XX A, AE 4 的 三 对 角 化 与 
K(A,qi, 2) QR 分解 之 间 的 关系 . 设 Q'AQ = T BAR, 
H Qe, 7 q, , WI] 

K(A,qi.n) = Olei, Tei, Te, ,--, TŠ Lei]. 
这 正 是 KC A qu. 289 QR LE e = LCS DD Alt, y 用 第 
一 列 为 q, 的 正 交 阵 来 三 对 角 北 阵 A 就 能 有 效 地 来 求 出 gg. 
TE 8.3.1 节 中 讨论 过 的 Householder — A 45 nf FH3E 35 8l ix 
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Alei. 


一 目的 .然而 , 当 A 是 大 型 稀 朴 阵 时 ,这 一 订 式 是 不 可 取 的 ,因为 
Householder 相似 变换 会 破 十 算 阵 的 稀疏 性 . H st 8: E f — fü fo 
的 过 程 中 将 产生 了 无 法 接受 的 太 型 稠密 算 阵 . 

有 时 ,用 Givens 变换 可 以 控制 矩阵 稀 政 性 的 破坏 ,上 见 Duff 与 
Reid(1976), $& mi, 24 AMR, AS RARE ,任何 通过 逐步 修 
EWER A 来 计算 了 的 作法 部 是 不 可 取 的 . 

这 建议 我 们 直接 计算 一 对 角 阵 了 = O'aG.4 Q = [ qi. 


qasrga], 
a BI | 
£i a2 


| 
| 
Pei 
Bk-1 ae J 
比较 矩阵 方程 40 = OT HF, k—1:n 1480 

Aq, = Br-19e-1 + aude + Bh. i Bodo = 9. 
利用 fa;! 的 正 交 性 可 得 tk 一 gfAq,. mE, 30 5. rp (A — oF) ag, 一 
By -19, FF, Hit] Gest ra] BU JE: rh B, = + | FR | 2-4 f. — 0, M] 
XE TC IE RISA C 1 8) 25 FUR RET 2s 18] BJ 8 HAM 
B.A, EX. E YR GE (CA GA LBS PE, 364115 BEA F WJ Lanczos ZË 
代 算 法 : 

r= qi1iflo = l;q a= 032 —0 


while( 5; 5^0) , 
desi = ra Besk = Ë + l; a, = qiAQii 
re = (A - aMD qa ~ Blige (9.1.3) 
Pe = | Fk | 2* 

end 


不 失 一 般 性 ,在 上 述 算法 中 取 Be ATER. q. BRA Lanezos 向 量 . 
9.1.3 终止 与 误差 界 


4q, 包含 在 一 个 真 不 变 字 空间 时 ,在 完全 三 角 化 之 前 秋 代 就 
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会 终止 ,这 是 Lanczos PEK UL PRS RS -RITE HOB W 
F: 

定理 9.1.1 RACER” Aø, g C B" H | gi | += 1. 
Wi Lanczos i&4X, 9.1.3 进行 到 第 = m 步 终止 ,其 中 m = rank 
(A gn) EI SHAH p= 1l:m AFAR: 


AQ, = QT; + rel, (9.1.4) 
其 中 
a1 fh 
Bi a? 
T, = 
| : . Pe 
| Bes a 


B. QO, — [41,902,777 oe H3 903E X ran Q,) - KCA ,q4, &). 

证 明 对 天 进行 归纳 法 证 明 . 假设 和 迭代 已 产生 @, = 
spaní qi, qii E. ran(Q,) = KCA qu P), QIQ = T. M. (9. 1. 
3) 很 容易 得 知 (9. 1.4) 式 成 立 , 因此 , O AQ, = T, + Cire; 既然 
# a; = qiAq;,i=1:k TA: 

qiriAg = Qia(Aq; — aq; — Biagi) 
= q'a (Bai) = Bi = lik -1 
成 立 , 因 而 QIAQ,- T,. TD Qr, = 0. 

如 果 r | 7-0, RII Geri fà | r} | 2 与 Gis" + Ge 正光 ,并且 
qy«1 € spani Aq. qe, ge- E KCA sgisk + 1), 
Fi OT Q, = hi, A ran QO D SKLA, gok ti) 相反， 
# r, =0, W] AQ, = Q,T,. XH AA ran(Q,) = K (A qi k) HRS 
TBL. Bb EIS $= ra =rank( K(A,q1,7)). [] 

在 Lanezos ERP, B, 为 零 是 受 欢迎 的 ,因为 它 标 志 着 已 计算 
出 一 精确 的 不 变 子 空间 .然而 在 实际 计算 中 ,出现 一 个 怡 好 为 零 ， 
甚至 很 小 的 8, ,是 很 少 发 生 的 .不 过 , 的 最 大 .最 小 特征 值 倒是 
A 的 最 大 ,最 小 特征 值 极 好 的 近似 .因此 ,必须 寻找 关于 T, 的 特 

* 550 * 


| PbS a 


AE (E ic a ERI EL tb E.R ix RE— T IE. 
定理 9 1.2 假定 Lanczos 算法 已 进行 了 点 步 , 且 三 对 角 阵 
T, 的 Schur JAA SIT,S, 一 diagt01,… 0). Y; [yi yo 
»X1709,9,C€ R^"* WA: 
M Ax; — &yi | 2 = | Bl 
其 中 S Gg) 
证 明 在 (9.1.4) 右 乘 S, 得 到 
AY, = Y,diag(0,,:-,0,) + ræs, 


Spb ,i —1:k, 


于 是 
Ay; = Oy; + re gS. 

Wy A itt |} y, || ,= 1g, | A Ase HA AR Y. L] 
此 定理 给 出 了 T, SA 的 特征 值 的 - .个 可 计算 的 误差 界 : 
min | 6, - usc |ñ]: sul. = 12k. 
注意 ,用 定理 8.1.15 中 的 术语 , (6, y 2E f == [8] ran( Q, ) I. Ritz 

对 . 

Golub(1974 f E T H T, RAH A 的 特征 值 的 另 一 种 方法 ， 
EP RAB TR 1 BEF E 使 得 ran( Q, ) 8 À + E HRB 
空间 .特别 地 ,如 果 我 们 用 Lanczos 方法 来 计算 AQ, = Q,T, + 
nel, AS E-ruwl,H'hr-t1,w-aq,-* br, Wi] BI LE: 

(A + E)Q, = Q(T; + ra ejl) + (1 + rab) rel. 
# 1+ rab=0, WEAR T, = T, + ra’ ee) DEERE A 
+ 吾 的 特征 值 .由 定理 8.1.8 知 ,对 ;=2:& 区 间 [4 T), 
Ai-1¢ TOST A 的 一 个 特征 值 . 

这 些 区 间 依 赖 于 ca? 的 选取 .假设 已 有 A 的 一 个 近似 特征 值 
.za 的 一 种 可 能 的 选取 是 使 得 det (T, — Ah) = (a, + ra? — A) 
Pi OO 7 Apl) =0, Hp p; (z) = deal T; — xL)nI HH = 
BEA AX(8.5. DHA. XX BARE p;- (2770. Lehmann(1963) 
和 Householder( 1968 ihi f RP RA MIFE RTT. 
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9.1.4 Kaniel-Paige 收效 性 理论 


前 面 的 讨论 指出 如 何 通 过 Lanczos BRA rb t EA, IB Ee 
揭 震 任何 有 关 收 合 速 度 的 信息 . pk Jr BT Bg £5 FB 8 T NDS BU 
Kaniel-Paige 理论 .以 下 就 是 共 中 之 --， 
定理 9.1.3 HA An BMA, BAGEL AeA Se 
1 相应 的 特征 向 是 为 ziza, zu. T, 为 用 Lanczos 方 法 得 到 的 
三 对 角 阵 (第 k 步 得 到 ) ,其 相应 的 特征 值 为 OO, 250, 81 
| + 201) i 
HX cos( $)) 7 | a12 | i7 (Ay 7 A3)/(A3 A.) c 1x 272 k —1 
次 Chebyshev 多 项 式 . 
证 明 由 定理 8.1.2 Xl, 
yTy _ max (Quy) 'ACQuy) 
v6 yy > (Qu) (Qu) 


w Aw 
max T . 
DAWE KCA.qu.E) TE 
HT A, E w Aw/w wx FU ESE IH w RK W A ee N 
了 得 到 0, BJ FPL SR PX. 
0, = max gi P ADApCA) qi 
! BET. aiplAyar 


其 中 Pei 是 所 有 不 高 于 天- 工 次 多 项 式 组 成 的 集 台 . 若 a = 
Sda, 则 


Ay ot h Z= Ay — 


E] 


S 252( 1.)2. 

aT p(A)AplA)g, A P Ada 
T 2 UT m 

qI p(A) ği Saigi,) 
i—1 
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— —— Mui —— VR a oy 


S dpa) 
1—? 
ip) 2 dip (A) 


AT BS BI — TRO F AR. 我 们 选取 多 项 iX p (=) š Ç 
r= AVE EE CE REALM EASES. HARARE: 


mea, — {Aq — Àn) 7 


pla) = aa(-1*2- zote), 


其 中 ¿ (z) k - 1 Br Chebyshev SMA, tdi PSHE SÉ ZU 
生 : 
cy (xz) = 2ze, ge) 一 cc0 = l,e = z. 
这 些 儿 项 式 在 区 间 [-]1,1 上 的 上 界 为 1, 但 在 区 间 外 增长 很 快 . 
用 这 种 方法 定义 的 p(xz) 有 性 质 : 
DADISI, i =2:n, 
但 pA) m e 10 3 201). RA 


] — di 1 
0, Z À ( — (À i Àn) dy 6 (1+ 20)07 
注意 到 tan? (9,9) 2 (17 dj) 741, ERR ABA EB RE F R. E 


从 此 定理 ,立即 可 得 关于 0, WY — TRI. 
推论 9. 1.4 anni 
— A, tan? (4, ) 
Per + 20, X ° 
其 中 心 =( A AAi A) eosl hn) = glen. 
证 明 在 定理 9.1.3 中 ,用 -4 SRA, , 即 得 . [] 


9.1.5 FEA Lanczos 方法 的 比较 


值得 将 Q, 与 军法 的 估计 值 A, 进行 比较 。( 见 8.2.1 0) 
简单 起 讽 ,假定 A poe eA, 320. 对 6 用 天 一 1 步 寡 法 进 伐 后 ,得 
zr 5); pi EAT E: 


= Ë, = À, 下 
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--] ` k-1 
v = A‘ i: = Scat ei, 
r—1 


HA 一 个 特征 值 估计: 


利用 定理 9.1.3 的 证 明和 记 叶 , 易 得 不 等 式 : 
2Ë- 1 
Ay De vy Z= a, — (A, — A, )tan ($1) . (32) - 
《提示 :在 证 明 中 令 plr)= z 0. Ai, RAT EE 0, Mv, 的 
24i 


F: 
Lam [a (a 一 3i 


= 1⁄[c,- + 21) ]2 


À 24-1 
K-i = (22) ` 


下 表 给 出 了 两 个 下 界 对 个 同上 与 42A41 的 比较 : 


表 9.1.1 I, ,7R,., 
À ZA; k-5 Ë =1Ü k=15 k=20 k= 245 
1 50 1l.1x10 ^ 2.0x10 '? 3.9x10°" 7.14x10 7 1.4x10 2 
` 29X10 7 6.8x10? 1.2x10 * 20x107 3.51074 
L10 2.7x10 2 55x107 114x1077 2.1x107" 42x10 © 
' 4.7x10 !  1L.8x10 !  6.9x10 2 2.7x1077  1.0x10? 
1.01 5.6x10! 10x10 ! 1i.5x10? 2.0x10? 2.8x]10 ^ 
l 9.2x107! €.4«K107' 7.6x107! 69x10! 6.2x10°! 


Lanczos Hi EHAE 8 #E PS a I 8. £ 3 ASA Pe, I 28 9, 是 
r(x)-zlAr/xlrzX] K(A,q,, E) P ET 8 D ERES KB T1 68 E 
的 估计 ,而 r = (o) AAS KC A, qu k) H- :特定 的 值 ， 
Bl w= A* lg. 
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9.1.6 PEER RETE 


我 们 用 T, 中 阳 特 征 值 的 误差 界 的 一 些 评 述 结束 本 节 . 定理 
9.1.3 证明 的 核心 思想 是 利用 变换 了 的 Chebyshev 多 项 式 .通过 
€ ,我 们 放大 了 qi 在 x 方向 上 的 分 量 .一 个 类 似 的 想法 可 用 来 获 
得 中 间 Ritz 值 0; 的 误差 界 .然而 ,这 些 误 差 界 并 不 令 人 满意 ,因为 


“放大 多 项 多 ”具有 形式 «coll (x — A, 其 中 ofz) 是 (在 区 间 


[A; 1,4; ] EBD) & — 1 bt Chebyshev 称 项 式 .详细 的 讨论 见 Kaniel 
(1966) , Paige( 1971) I Saad( 1980). 


> fa 


9.1.1 RACR "ARNE RES TII TEBEBSOSER Y fa BE Ta 
的 Lanczos 型 算法 AH AQ,, = 0,7 ,其 中 OG, = E... 

9.1.2 HACR™ "AN RM ,定义 函数 r(z)= r'Az/rlxz.S= R E 
—f5[H.HVzrces;HVrix)€s.uEBH S EA 的 不 变 于 空间 . 

9.1.3 uEBI ARE A CIR" "4 — 2B it fA. DJ Lanczos 773 803 
代 提 前 结束 . 

9.1.4 定理 9.1.1 中 的 指标 m 是 包 会 向 量 gq1 的 A E pop TET S 
间 . 

9.1.5 CA ACE ”对称 .考虑 如 下 问题 :确定 正 变 序列 gogar” 
,使 得 一 旦 Ole ee l ECHR, g SH oe = Il- i Gh) 
AQ; ll 达到 最 小 . 3ËVE BH ; span| gi,’ r “+ gal = K(A,q-%), 则 可 能 选取 
q E pg =0. 和 解释 这 一 优化 问题 如 柯 可 导出 Lanczos 方法 . 

9.1.6 设 有 EER"*7 对 称 ,我 们 希望 计算 出 它 的 最 大 特征 值 . > 了 为 一 
近似 特征 向 量 ,e = y Agg 9, 2 = An- ag. (a) iE: Kla—8,a+ 8 Jr 
有 A 的 一 个 特征 值 ,其 中 和 = [lz la/l alse RR 7 = an + 
了 ,如何 镁 定 实数 a,b 使 得 a 二 27TA9g/99 最 大 .{c) 疗 述 上 述 计算 与 
Lanczos 算法 前 二 步 的 关系 ， 


本 节 注 释 与 参考 文献 


Lanczos 方法 的 经 典 参 考 文献 如 下 : 
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C. Lanesos ( 1950). “An Fieration. Method for the Solution of the Eigenvalue Problem of 
Linear Differential and Integral Operators, J. Res. Nat. Bur. Stand. 45 ,255---282. 
RE Ea T Ritz AE, AES TRAE 
S. Kaniel (1966). “Estimates for Some Computational “Techniques m Lincar Algebra, " 
Math . Comp . 20 ,369-—378. 
C. C. Paige (1971). "The Computation of Eigenvalues and Eigenvectors of Very Large 
Sparse Matrices, “Ph. D- thesis, London University. 
Y Saad ( 1980). "On the Rates of Convergence of the Lanczos and the Block Tlanczos 
Methods, " SIAM J. Num. Anal. 17 ,687—706. 
4 X Lanczos AHE, EEEN A X IE > [8] RE HHT He BT NO 
N. J. Lehmann (1963). "Optimale. Eigenwerteinschliessungen,” Numer. Math. 5 , 246-— 
272. 
A.S. Householder (1968). " Moments and characteristic Roots IL,” Numer. Math. Il, 
126—128. 
G. H. Golub( 1974). "Some Uses of the Lanceos Algorithm in Numencal Linear Algebra,” 
in Topics in Numerical Analysis ed. „J.J. H. Miller, Acadenue Press, New York. 
我 人 是 通过 讨论 Householder 或 Givens 2E #t = X4 £8 [E A ER 5 dE SE zu EA E 
Lanczos 方法 的 妖 完 .事实 上 ,如果 小 心 处 理 有 时 可 将 境 充 限制 到 可 嫌 受 的 水 在 . 
I. S. Dufí( 1974) . "Pivot Selection and Row Ordering in Givens Reduction on Sparse Matri- 
ces, Computing 13 ,239--248. 
LS Duli and J. K. Reid( 1976). “A Comparison of Some Methods for the Solution of Sparse 
Qver-Determined Systems of Linear Equations,” J. fast. Maths, Applic. 17 ,267—280. 
L. Kaufran( 1979). “Application of Dense Householder Transformations to a Soarse Ma- 
tix, "ACM Trans. Math. Saf? .5,442—450. 


$9.2 实用 Lanczos 方法 


舍 人 误差 严重 影响 Lanczos 方法 的 表现 . 其 根本 的 困难 在 十 
Lanczos 癌 量 之 间 会 失去 正 交 性 .这 个 现象 会 搅乱 算法 的 终止 问 
Ru JF Ae A MOT, REZ KA Bh. IX 
— AR AOA SES BE FE Householder = et A 4h 77 HE B] H3 XI. , ird, BH 
SATA Lanczos 方法 在 50 年 代 与 60 年 代 被 数值 分 析 专 家 所 名 
视 .然而 , 随 着 Kaniel-Paige 理论 的 发 展 , 人 们 对 此 方法 的 兴趣 又 
恢复 了 ,因为 伴随 计算 机 和 运算 能 力 的 不 断 提 高 ,解决 大 型 稀 琉 矩阵 
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AY ep BE a B] SG AJ SE RA n A RR REG 
到 很 好 的 两 端 特 征 值 的 近似 值 , 这 使 Lanczos J 15 fF 2g $8 Bü ME Ek 
技巧 极 官 吸引 力 ,而 不 是 作为 Householder 方法 的 "竞争 者 ` 

要 成 功 地 实现 Lanczos EN, PAARA dm LENA 
(9.1.3) 那 样 简单 . 在 本 节 中 ,我 们 概括 地 介绍 几 种 被 建议 用 来 使 
Lanczos 方法 实际 可 行 的 实用 思想 . 


9.2.1 精确 的 运算 实现 


仔细 重 写 (9.1.3) 且 利用 公式 : 
a, = gp Age — Be-19e-1) 
则 整个 Lanczos 算法 可 用 2 个 n 维 向 量 的 存储 量 来 完成 . 
算法 9.2.1(Lanczos IE) 4E — n BSAA 和 范 数 单 
JL 6] 3 <o, £ MO kO KO H — 4 k Fp WE 36: Z. A T, B 
ACT, )CACA) ik VAR x LAH EAE BE 5 a dE ER A. zo BH 
A.mult(se). T, 238 Z de X xb fü oor 30 4$ 4 4E a (1: E) 5 


BOR -1) 
v(1:n) -0;8y—1;& =0 
while AO 
if EO, 
for :—l:z 
£ =<; w= upei w= -ht 
end 
end 
u= + A.mult(w) 
k=b+l;a, = wl v v= v- awh = vli; 
end 


注意 ,A 在 整个 过 程 中 没有 改变 , 只 需要 提供 一 个 计算 宛 阵 
A 与 向 量 乘 积 的 程序 A.mulit( ). ü JR AB Be A 平均 每 行 有 i 个 非 
零 元 , 则 在 每 一 Lanczos 步 中 ,ZTR (2: 8) 5 个 flop. 
上 述 算法 结束 后 , 工 的 特征 秆 可 用 对 称 三 对 角 QR 方法 ,或 
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$ 8.5 中 任何 特殊 的 方法 (如 二 分 法 ) 来 计算 . 

Lanczos 问 量 通过 n AER Bw 来 产生 . 如果 这 些 向 量 以 后 要 
用 到 ,必须 特别 安排 它们 的 存储 .在 典 击 的 稀 玖 算 阵 的 情况 ,它们 
可 存储 在 磁盘 或 其 他 的 辅助 存储 设备 ,直到 不 需要 为 止 . 


9.2.2 误差 分 析 


要 发 展 一 个 实际 的 旦 易于 使 用 的 Lanezos 程序 ,需要 利用 
Paige(1971,1976,1980) 上 基石 性 的 误差 分 析 . 对 他 所 得 的 结果 进行 
观察 ,是 启发 本 节 的 几 个 修正 Lanczos 算法 的 最 好 途径 . 

算法 进行 J 步 后 ,我 们 得 到 由 计算 出 的 Lanczos 向 量 组 成 的 
EM Q. = |[ 厅 ,2，… ,rj 及 相应 的 三 对 角 泗 : 


ay Bi 
Bi 22 
T, — e E 
Bii 
Pia "T 
Paige(1971,1976 证 明了 ,如果 名 der, 的 计算 值 , 则 
AQ, = Ó, T, + rei + E,, (9.2.1) 
其 中 
| Eglz2eu || A Ho. (9.2.2) 


UAE a MP, BM AQ, = QT, + rel 
能 得 到 满足 . 

DERE, G 之 间 的 正 交 性 远 不 如 上 面 的 结果 那样 美好 .( 规 
范 性 不 成 问题 , 因为 Lanczos 向 量 的 计算 值 本 质 上 具有 单位 长 


E) AB, = AC | Fg | 22 :计算 = fl Cr, 7B, ) , Wu fii 88 B9 a BF 可 


证 明 PB Qk + + wy BOP || <o, ll oma I P oa: MA T2. 
因此 ,我 们 可 得 ; 
' 558 ， 


HTAR u ij A E 
| Be | 
换 名 话说, 当 记 很 小 时 ,可 能 会 出 现 与 IE AE EAR X A i BS, , 既 使 在 
tO, =0 这 一 理想 情况 下 也 是 如 此 .名 BAR, 的 计算 将 有 
“ 相 消 ”我 们 要 强调 的 是 , 正 交 性 的 丢失 是 由 于 这 种 “ 相 消 "误差 所 
引起 的 ,而 不 是 舍 人 入 误差 积累 的 结 梁 . 
例 9.2.1 £N 


abhag == 


=| 2.64 Bodl 
— 0.48 2.36 
的 特征 值 为 和 ;=3,)2=2. 如 果 对 A 用 Lanczos 算法 , 取 初 始 向 量 
X q, = (0. 810, — 0. 586]7, MAM i$ 8 3k 8 M. NH q, = 
|.707,0.707]T. 正 交 性 失去 了 ,因为 span| 91| 几乎 就 是 4 的 不 变 
+E. (a 2 -(0.8,-0.6)' X XE RE T A, 的 特征 向 量 ). 

稍 后 我 们 将 给 出 Paige 分 析 的 更 多 细节 .现在 只 需 说 在 实际 
中 总 是 失去 正 交 性 ,从 而 明显 破坏 全 的 特征 值 的 准确 性 .这 可 通 
过 (9.2.1) 和 定理 8.1.16 来 量化 .特别 地 ,在 定理 中 取 Fl = Pl 
+E z=, S= T, FARE: 

r= | O10. - hll 

满足 r1. 则 存在 uoe CACA), EI 

| us — ACER | 

«42H 7, |. + BE lla c c2 0l All), id. 

控制 因子 z 的 一 个 明显 的 办 法 是 把 新 计算 的 Lanczos 向 量 与 
以 前 所 计算 的 Lanczos 向 量 正 交 化 . 这 导致 了 第 - :个 “实用 的 
Lanczos 算法 . 
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9.2.3 SE SE Pik SEALS Lanczos 方法 


给 定 rg ri ts re-1 € RR", 并 假定 已 计算 出 Householder 阵 
Ho,H,,7, Hi -1 使 得 (Ho… Ba) roe r | a IA 上 三 者 阵 .用 
Lais qe ZR. Householder 阵 乘 积 HoH,- H, - | BJ 60 b 91. 3H 
假定 给 出 向 量 n € R" ,我 们 希望 在 下 述 方向 上 得 到 一 单位 向 量 


Gk +1: 


Ë 
w= r D larg € spanlg gel. 
i=l 


如 果 选 取 Householder 阵 H, FET (My Hy Dror. E 
上 三 角 阵 , 则 WoW, H, ORE + 1 RAR ee. 
如 果 把 这 些 Householder 变换 和 Lanczos 算法 结合 起 来 ,就 可 
得 到 相对 于 机 器 精度 正 交 的 Lanczos 向 量 ， 
六 一 qi( 给 定 的 单位 向 量 ) 
确定 Householder Fe Ay: Harpy ei 
my qi Agi 
for &=1:n-1 (9.2.3) 
rg = CA — ad ae — Be-1 92-1 Bogo=0) 
W-(H,- Hor, 
确定 Householder EF H, : 
H,W —-(W,,--,W,,8,,0,--- ,0)T 
gk+1= HoHy' Hyeras 
O17 Ghat A qe+t 
end 
这 是 一 个 完全 再 正 交 化 Lanczos 算法 的 例子 .更 加 深入 的 分 析 见 
Paige( 1970). 用 Householder 阵 来 加 强 正 次 性 思想 见 Golub, Un- 
derwood 和 Wilkinson( 1972). 
由 (9.2.3) 计 算出 的 证 在 机 器 精度 内 是 正 交 的 ,这 一 点 可 从 
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Householder 阵 的 误差 性 质 中 看 出 . 注意 到 ,由 ae AE X 8 = 0 
是 没有 影 啊 的 .由 于 这 -原因 ,算法 可 安全 地 运行 到 =n 一 1 步 
(然而 ,在 实际 中 可 在 -~ 个 小 得 多 的 上 值 就 结束 算法 ). 

当然 ,无论 (9.2.3) 如 何 实 现 , 只 存储 Householder HÆ v, ,而 
不 会 显 式 地 形成 相应 的 P, 既然 1k Ark) = 上 ,我 们 没有 上 必 
要 去 计算 W = (H, 1. H, .. "U Ho) re 的 前 4 个 分 量 ,因为 精确 的 
运算 会 使 这 些 分 量 为 老 ， 

不 幸 的 是 ， RSE, 这 些 措施 的 意义 并 不 
大 .因为 在 Lanczos 算法 的 第 六 步 ,计算 Householder 阵 会 增加 
O( kn )- flop. 此 和 外 ,为 了 计算 e+ 相应 于 Ho, Hioc Hi 的 
Householder 向 量 也 要 用 到 . 当 n 和 点 很 大 时 ,这 通常 意 际 着 无 法 
接受 的 数据 传输 量 . 

因此 ,完全 再 正 交 化 要 付出 很 高 的 代价 . 所幸 的 是 ,有 更 加 有 
效 前 算法 可 取 , 但 这 要 求 我 们 更 加 深入 了 解 正 交 性 是 怎样 失去 的 . 


9.2.4 有 选择 的 正 交 化 
Paige(1971? 误 差分 析 的 一 个 惊人 的 且 使 人 嗜 笑 皆 非 的 结论 
是 : 正 交 性 的 丢失 与 Ritz 对 的 收敛 性 是 密 不 可 分 的 .确切 地 说 , 假 
tT, 用 QR 算法 ,得 到 Rite 值 的 计算 解 冲床 和 一 个 由 特 
征 向 量 组 成 的 几乎 正 交 的 矩阵 $i = (su) BY, = [31s l9 
ACÔ, S.) WER, 
- Al, 


aT = . 
Hiri l.i 1:k, (9.2.4) 
IA. Iss]. 
和 
| A 5; — 8, 9; l a2 [AT - | Sei |- (9.2.5) 


也 就 是 说 ,最 新 计算 出 的 Lanczos IJ Ë g, , MA T E FE fa] KR 

的 Ritz 向 量 的 方向 上 含有 不 需要 的 非 零 成 分 .因此 ,我们 不 去 将 

让 + 与 以 前 所 有 计算 出 的 Lanczos 向 量 正 交 化 ,而 是 通过 计 它 与 
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一 个 小 得 多 的 由 收敛 的 Ritz 问 量 组 成 的 集合 正 变 ,以 达到 同样 的 
效果 . 

Parlett 和 Scott( 1979) 讨论 了 用 这 种 途径 来 加强 正 弯 性 的 实 
现 问题 .在 他 们 的 称 之 为 “有 选择 的 正 交 化 "技巧 中 ,一 个 计算 的 
Ritz 对 (8,y) 被 称 为 是 “好 的 " ,如 果 它 满足 : 

HAS —-O5 ilzu" lA». 

“Aas CRE HH BE STOMA Ritz 同 量 正 交 化 .这 上 比 完全 
重新 正 交 化 效率 高 得 密 , 因 为 通常 好 的 Ritz 向 量 比 Lanczos 向 量 
少 很 多 . 

PRM PEE 22 dU XE de dé dE Bk -— #P XJ f8 db T, ER 98 
(9.2.4) 5(9.2. DRN s... 一 种 更 有 效 的 方式 是 用 以 下 结果 来 
估计 正 交 性 丢失 的 度量 || L - Q IO, |l o: 

引 理 9.2.1 BÆ S.-[S,dl,SCH^""",qCcR^,AeX S HË 
All n-s'slxu.li-ad'dlxà,5l L.,- ST S. lox 
ik 

Bac LI + Š +. Cp 一 ó y +4 l sTa 13). 

WEAR ÆR Kahan 和 Parlett( 1974) 3X, Parlett 和 Scott( 1979). 

[] 

因此 , 当 我 们 已 知 | n - 010, lh; 的 界 时 ,就 可 以 对 $= 人 ,d= 
Ge + JRELESIBRASIB | a4 08.1 Qe+1 |o 的 界 . {在 这 种 情形 ， 
cu, HRE q, CM SA Ritz REET). AEA 
FG... Q | MR R- ACT fr EE. O ig PR, W. 
Kahan 和 Parlett( 1974) 8% Parlett 和 Scott€ 1979) ,额外 的 开销 是 很 
小 的 ,而 县 当 帖 计 界 显示 已 失去 正 变性 时 ;就 要 考虑 扩大 好 的 Ritz 


向 量 的 集合 .之 后 ,并 且 只 有 在 这 以 后 ,将 了 X 86. 
9.2.5 Ms Haag 


在 设法 构造 一 个 不 涉及 任何 强迫 正 交 的 可 行 Lanczos 算法 方 
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面 ,已 付出 了 巨大 的 努力 .这 方面 研究 集中 在 “幽灵 "或 “虚假 * 特 征 


(Ha RT, 的 多 重 特征 值 , 它 位 对 应 于 A 的 单 重 特征 值 . 
DOCE 3k BJ Ritz 向 量 的 正 变性 失去 后 , 选 代 实 际 上 重新 开始 ,所 
以 会 出 现 这 些 允 重 特征 值 .( 打 个 比喻 ,在 8.2.8 节 的 正 交 选 代 中 ， 
如 果 忘 记 了 正 交 化 ,想像 一 下 会 发 生 什 么 情况 }. 

Collum 和 Wiliough(1979) 以 及 Parlett 和 Reid(1981) 讨 论 了 
鉴别 和 对付 这 些 儿 重 特 征 值 .在 需要 A 的 全 部 特征 值 的 应 用 问题 
中 ,这 是 十 分 紧迫 的 ,因为 上 述 正 交 化 过 程 代价 高 得 无 法 实现 . 

Bet A 有 一 个 真正 的 多 重 特 征 值 ,Lanczos 选 代 出 现 困 难 也 


是 意料 之 中 .这 是 由 于 从 是 不 可 约 的 , 面 不 可 约 的 三 对 角 阵 不 可 
能 有 多 重 特征 值 .我们 下 一 个 实用 的 Lanczos 算法 就 是 要 绕 过 这 
一 困难 . 


9.2.6 分 块 Lanczos 方法 


就 像 简 单 的 寡 法 有 同时 选 代 的 块 形 式 一 样 ,Lanczos 算法 也 有 
REA. BE = = r. p, UL F ft. 
M, Bi | 
B, M»; 
Q'AQ = T = ` 


B. WM. 
其 中 Q = [Xe X. ], X € RX? FAME, M, € R2 “2, 
BER “2 为 上 三 角 阵 .比较 方程 AQ = Q 于 两 边 的 每 一 块 可 得 
AX, = X, Bii + XM, + X; Bi; 
XoBo=0, k=1:7r-1. 
从 Q 的 正 交 性 ,我 们 有 
M, = X]AX;, k= ir. 
此 外 AS R, = AX, — XM 一 X-Bla ER”, JIP X,.,B,= 
^ 363 H 


oe E .. 
——— a epee: 


R, Æ R, 的 QR 分 解 . 这 些 关 系 式 建议 我 们 用 如 下 方法 产生 
(9.2.6) 中 的 块 三 对 角 阵 ; 
给 定 XER, XIX, =I, 
M |= XI AX, 
for 2£=1:r—-1 (9.2.7) 
R, = AX, - X,M, - X, - i Bh -1 (XoBo=0) 
X,.,B, = R,CQR 分 解 ) 
Mr+1= XF AX... 
end 
CER k 次 循环 的 开始 ,我们 有 : 
A[Xi;,X;.:,X;] SLX, X», X; ] T, 
+ R,0,,0,L,], — (9.2.8) 


其 中 
M, Bil O 
= B, M^; : 
T, u : ". '. Bl, 
O - Ba M, 


利用 与 定理 9.1.1 的 证 明 类 似 的 方式 ,我 们 可 以 证 明 只 要 所 有 的 
R, 者 不 是 亏 秩 的 , 则 四, 是 相互 正 交 的 .然而 ,如 果 对 某 个 到 有 
rank( R, ) € p , WA) RFE X, ., 899], 818 XI X; 一 0 一 工 :下 ， 见 
Golub 和 Underwood( 1977). 

因为 T, IE RY p, F Schwartz(1968) 的 算法 可 有 效 地 把 它 
化 成 三 对 角 阵 .一 旦 有 了 三 对 角形 式 , 用 对 称 QR 算法 即 可 得 到 
Ritz fA. 

为 了 明智 地 决定 何 时 用 块 Lanczos 方法 ,有 必要 知道 块 的 维 
数 怎 样 影响 Ritz 值 的 收 敏 .定理 9.1.3 的 如 下 推广 阐明 了 这 一 阿 
题 . 

定理 9.2.2 iE on BAREA 65 3F4EA 3 A Alte SA, 
相应 的 特征 向 量 为 nsz rn AER T, 为 块 Lanczos KK, 
(9.2.7) 进 行 上 & 步 后 得 到 的 块 三 对 和 角 阵 , CH p 个 最 大 的 特征 值 


Apes np ARA Z (= [z 25]. B cos( 6, ) = s, CZ1X1) 70. 
则 


其 中 


2 _ (À 一 A; jtan (6,) _ À; 一 Ap+t 


Lm I + r; 2T 
Ck-1 r) 


cr-i) A b — 1 r Chebyshev 多 项 式 ， 

证 阴 见 Underwood(1975) q 

把 上 述 定理 中 的 A RR — ALT, 最 小 的 特征 值 可 得 到 类 
似 的 结果 . 

根据 定理 9.2.2 AHR Lanczos ERAR, RAIT A h TE 
几 条 性 质 : 

“ME 户 的 增加 ,Ritz 值 的 误差 界 得 到 改善 ， 

“计算 T, 的 特征 值 的 工作 量 与 p* 成 正比 ， 

' 据 的 维 数 应 至 少 与 任 一 需要 计算 的 特征 值 之 重 数 一 样 大 . 

Scott(1979) 详 细 讨 论 了 在 这 些 因素 下 如 何 决 定 块 的 维 数 . 

正 交 性 的 丢失 同样 困扰 块 Lanczos 算法 .然而 ,前 面 介绍 的 强 
迫 正 交 的 所 有 技巧 都 可 推广 到 分 块 的 情形 . 


9.2.7 Si Lanczos 方法 


AAR RAE Lanczos 算法 (9.2.7) 来 计算 A 的 
选 定 特征 值 . 为 了 阐明 思想 ,假定 我 们 要 计算 p 个 最 大 的 特征 值 . 
如 果 给 定 阵 X, OR" EE RNA GAAS. 
untill | AX; — X, Ts || p 2B) 
通过 块 Lanczos 算法 ,产生 Xo, X ER"? BR sp X 
sp , p Ass 
T, = [Xi X l'ALXi.7, Xl: 
计算 正 交 阵 U=[u ,wss EI: 
UTT,U = diag(6,,:-,0,),01 > Z 04. 
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4 X =[X,,- X, lle ay! 

end. 

这 就 是 分 块 的 * JP Lanczos 算法 . Cullum 和 Donath (1974) 
Underwood (1975) 对 它 进 行 了 广泛 的 分 析 . 

同样 的 思想 .也 可 以 用 来 计算 A 的 儿 个 最 小 的 特征 值 或 最 大 
最 小 特征 值 的 混合 情形 , 见 Cullun (1978). 参数 s A p 的 选取 依 
赖 于 存储 以 及 前 面 列 出 的 讨论 块 维 数 的 几 个 因素 , 随 着 好 的 Ritz 
向 量 的 出 现 , 块 的 维 数 疡 可 能 减 小 ,然而 这 昌 求 强迫 与 已 收 仇 癌 
BÉ IE AE, X. Cullum 和 Donath(1974). 
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9.2.1 WEAS ER 9.2.1. 
9.2.2. 1E(9.2.7) 1,8 rank( R, ) < P, 1$ Z3 IB] range ([ X, , X5, 7, 
Xo DEA A WREN RG? 
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89.3 应 用 于 Ar=b 和 最 小 二 乘 


在 本 节 , 我 们 将 简要 地 介绍 如 何 把 Lanczos 算法 用 来 解 火 型 
稀 朴 线性 方程 组 与 最 小 二 乘 问 题 . 更 详细 的 内 容 , BL Saunders 
(1995). 


9.3.1 对 称 正 定 方 程 组 
假设 矩阵 4AER"*" 对 称 正定 ,考虑 函数 : 
#( x) = LaTAr — r'b, 


Koh FER" Br $(x) - Az - b, EE c= AI b BS RAE UN 
点 .所 以 ,$ 的 一 个 近似 极 小 点 可 看 成 是 4zx = 的 近似 解 . 
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给 定 初 值 zo0ER" ,一 种 产生 上 收 钱 于 x AA tx, | JT 
法 是 对 此 =1;n ,构造 一 列 正 交 向 量 |9,i , 旦 +, APS ERS 
zgtspaniq,,' "qub = lægt aqu ton t aya, ER | 
中 的 极 小 点 .如 果 Qi =a. q | J. WARS Ka SK et y € 
RES 


#(= + Qi) = TG + Quy) AG, + Qu) — (zo + Quy) b 


= ly'TAQ))» - y' OT - Ary) + $C) 
达到 极 小 .观察 该 表达 式 对 y HABE, uy Xü 
x, = ot Gee, (9.3.1) 
其 中 oy, ME: 
(QTAQ,) = QI(5 — Axo). (9.3.2) 
“pont, $ 在 整个 空间 RR* 上 达到 极 小 , 故 Az =b. 
MA KR u yE RER, TPR CAM, ie ra HE PE < 
困难 : 
线性 方程 组 (9,3.2) 必 须 容 易 求 解 : 
“我们 必须 能 够 在 计算 z, 时 不 需要 像 (9.3.1) 那 样 显 示 用 到 
Qs qi. 否则 的 话 ,将 会 产生 过 量 的 数据 流动 . 
我 们 将 证 明 , 当 2, 为 Lanczos 向 量 时 ,这 两 大 困难 都 将 被 克 


E. 
Lanczos 算法 进行 步 后 ,我 们 得 到 分 解 : 
AQ, = @,T, + ret: (9.3.3) 
其 中 
ap 0 
T, = QAQ, h 7 VOR. (9.3.4) 
Ü c7 B œ 


通过 这 种 途径 ,(9.3.2) 变 成 了 一 对 称 正定 的 三 对 角 系 统 , 它 可 以 
用 LDLT 分 解 来 迅速 求解 ( 见 算法 4.3.6). 特 别 地 , 令 | 
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L, = | > D, = 0 di i 
| E Ü 
Ü ka 1 LO 0 d, 
比较 方程 
T, = L, D, LI (9.3.5) 
两 边 的 元 素 , 可 为 下 述 算法 : 
d,—a, 
for 1 —2:£ 


£p E adiu, 
g, = 2; - B - 1-1 
end 
注意 ,为 了 从 L-AM D, AA L, AD, ,我 们 只 需 计 算数 值 
He 1 = Baa dci, 
dy = a, — Piae 
正如 我 们 前 商 所 提 到 的 ,有 效 地 计算 (9.3.1) 中 的 x, 是 非常 
关键 的 .为 此 ,定义 矩阵 GER Him p, € S5 如 下 ; 
CE = Qis 
L,D,p, = VHE: 一 Arg). 
我 们 发 现 , 若 nom b 7 Arg BU 
rQ— ty + OTe Qiro 
= ag + Qe LADLE) Qro 
= zy + Cb. 
tC, 作 列 分 划 人 = 01.02, et. 从 (9.3.7) 可 得 
Leysperey + 6257 fad + ce] = Layette ad. 
国 此 ,Ce=[LCe iie ,其 中 
Ck T Ge T Pe-1Ck-1- 
同样 可 观察 到 , 若 在 方程 组 Dp = Quro FS py = (pi1,p2,*…， 
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(9.3.6) 


(9.3.7) 


- = ——— - —--— — P - "rr — iu s ra 


p) , 则 方程 组 变 为 


p Giro 
pi qirp 


"T . 
Ł-1 -1f 
Ü - O uada | ds p Qk-170 


既然 L, ID, iyi Qi iro HT 
iui 
Pk 
其 中 Pr = Cairo — ta -1ds - iO -12 d, . 因此 

Hy = £a t Cup, = Xo Cy i Pe-1 T Once 


5 


n= 


， = X21 T Per- 
这 正好 是 我 们 所 需要 的 关于 x, BHOGEfUA OM. BH (9.3.6) 和 
(9.3.7) ,我 们 就 可 用 最 小 的 工作 量 和 存 情 量 完成 从 (和 -yc-1， 
zx, ) BNC g, ces r O RER. 
如 果 我 们 取 q 为 初始 残余 向 量 r = b - Ar 的 单位 化 向 量 ， 
则 可 得 到 更 简明 的 结果 . 当初 始 Lanczos 向 量 这 样 选取 时 ,有 giro 
0,222 成 立 . 从 (9.3.3) 可 知 
b- Az,= b — A( xo + Qux?) 
= ro — (QT, + riek oy 
= ro - QQ iro - rely 
= — ni. 
因此 ,如 果 在 Lanczos SER 893 JE LA B= | r2 70 成 立 , 则 
Ax, = b. WEE, || Ax, — 5 || 25 leave | BEARR [TRE , RT ERI 
当前 残 量 的 估计 . 综 上 所 述 ,我 们 有 如 下 算法 . 


(8H c 


算法 9.3.1 HR AC EI HES FER" FER x € 
R^ 33366] 3E Arb) MARAT ED Ava b 的 解 . 
rob- Az, 
Ba ll zall; 
q | = Ü 
k =Ü 
while 8,0 
Qy «17 re Be 
k—-k-l 
a, = gig, 
r = (A — al day — B iq, 
B | FR I| ^ 
if k—1 
di =a, 
C17 qj 
Pi = Pora 
TQ, 
else 
Uk- i17 PI dy a 
d, = ay — By-148-1 
Ck Gk Ma-1Ck-1 
Oe = T a ads - gk dy 
Ty Ky * pick 
end 
end 
E>, 
ESSI is T E EE p] BL 3825 ALL saxpy 运算 . 它 的 数 
值 表现 将 在 下 一 章 讨论 ABE ee ES EL 392 BH 28 Sx A AH BJ 
JEU EH 
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9.3.2 对 称 非 定 方程 组 


上 节 中 的 算法 一 个 关键 点 是 求 三 对 角 阵 T, 的 LDL 分解. 不 
幸 的 是 , 当 4 ,因而 瑟 , 非 正定 时 ,这 个 分 解 是 不 稳定 的 .Paige 和 和 
Saunders( 1975) # 2 HI T, 的 LQ 分 解 来 构造 >, AANA. H 
切 地 说 ,在 第 天 步 ,我 们 用 Givens PE 用 ,，… 天 -1 使 得 


£1 d» 0 et TP 0 
Jeda = iy = f a ds D ... Ü | 
0 0 ~ fz %4 di 


注意 ,利用 这 一 分 解 ,x+, 可 表示 ,为 
z, = z Qua = Q Ti Q ib = Wess 

其 中 W,= Q, Jeee ER”, COR SHEA Lus = Q b 的 
解 .观察 这 些 方程 ,从 x， FW, 的 最 后 一 列 ww, 的 一 个 容易 计算 
的 信 数 可 得 出 计算 x 的 公式 ,这 就 是 Paige 和 Saunders(1975 ) 3€ 
出 的 SYMMLQ 方法 . 

另外 一 种 途径 是 从 (9.3.3} 和 和 定义 Bg, , = n A 

AQ, = Q,T, + Bia ek = Qua Hi 


T, 
un MI 
iX (kc 1) x k dé E Hessenberg ÉF,4E Raige 和 Saunders (1975) 
提出 MINRES 方法 中 起 重要 作用 .在 该 技巧 中 ,z, EEEH z, + 
spani q,,'7. q,i ERME || A, — 5 >. 注意 
l ACz, + Quy) - b |> = | AQwy - (b — Az) Il 
= | Qu Hey 一 (b 一 Arg) | 2 
= || Hy — Boe, | 2" 


其 中 
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这 里 假定 了 q |= (b — Ax) Bo 为 单位 癌 量 .与 SYMMLAQ 方法 一 
FÉ ,能 导出 一 些 递 推 合式 从 而 有 效 地 从 z, -1 计算 zi. 这 涉及 到 H, 
的 QR 分 解 . 

共 罗 梯 度 法 的 表现 将 在 下 一 章 详细 地 讨论 . SYMMILQ 和 
MINRES 方法 的 收 敏 性 揭 为 复杂 ,其 讨论 见 Paige, Parlett 和 Van 
der Vorst(1995), 


9.3.3 双 对 角 化 和 SVD 


假定 UTAV = B Ax sBEEA CI277"B93X2XJ A, Horn 
U = [uist us]. UTU = Ip 
Y = [vm h Vly = L, 


ER 
ay By waa 0 
0 as B; . : 
B= a3 27 . (9.3.8) 
: Bl 
0 c Ü a, 


回忆 5.4.3 节 中 的 内 容 , 此 分 解 可 用 Householder 变换 完成 , 它 是 
AFRE, A JAMAIE, Æ Householder 3X8] ff 
化 过 程 中 ,会 出 现 大 型 稠密 子 和 矩阵 .因此 ,如 果 能 发 展 一 种 不 必 对 
AMES ER GRIN BBR B 的 方法 ,将 是 非常 完美 的 事情 . 
和 9.1.2 节 中 的 做 法 一 样 ,对 久 = Lin, ERGUER OAV = 
UB 5 A'U = VBT 的 两 边 , 可 得 
Au, = ag + Belus Pouuo =: 0, 
Alu, = a,v, + Beta, Pu, =O. (9.3.9) 
& r, = Av, — Be-1 Vp-p: Pe = A ey — axvwi. 由 单位 正 交 性 我 们 可 
得 到 a, =+ il un l2. c, = rQ,/a,, Bà = + | p. ll; 和 U+ 一 


/Bs. 恰 当地 安排 它们 的 顺序 ,可 得 到 双 对 角 化 长 方形 矩阵 的 
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Lanczos 上 方法 . 
给 定单 位 向 量 ( | do Xv 
po= u B =1;4 =O; 4, 70 
while 5,250 
Vp o1 7 Pa Pe 
&-ktl 
rg = Av, — B 1Ug-1 
Q = | P, | 2 
HE = Fg ith 
p,7Alu— GaU, 
B= Ü pe lle 
end 
如 果 rank( A ) — n MRNTAREE o, 中 不 会 有 零 出 现 . 
实际 上 , 若 a, =0, HII span Avi, Av, i Cspan | a) tty Up} ,这 
说 明 A c£. 
若 康 =0, 则 不 难 证 明 : 
Al uy, v. vl = [5,,95,*7,u4]B,. 
A™ ujua, ug] = [0], von BE, 
其 中 B,=B(1:ż,1:4), B (9.3.8) F ARER. ENE, p| E 
u flv 为 奇异 向 量 , 且 o(B,)Co(A),Paige (1974) rhe T Lanc- 
zos XXE ff (E. A, 8T Cullum 和 Willoughby (1985a, 1985b). TE Æ 
质 上 , 它 等 价 于 把 Lanczos 三 对 角 化 技巧 作用 于 对 称 矩 阵 
c- | Ü ^| 
AT ol 
我 们 在 $8.6 开始 时 就 证 明了 4;(C)=6o(&)= 7 Aue L + (C), 
i 二 1;#. 由 于 这 一 点 , 双 对 角 化 矩阵 的 大 奇异 值 是 A 的 大 奇异 值 
很 好 近似 也 就 不 足 为 奇 了 .C 的 中 间 特 征 值 对 应 于 和 的 小 特征 
# ,但 这 没有 很 好 的 近似 .与 Kaniel-Paige 理论 相应 的 关于 Lanczos 
双 对 角 化 的 定理 , 见 Luk(1978) 和 Colub, Luk 与 Overton( 1981). 
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前 两 节 中 的 分 析 、 算 法 和 数值 方面 的 讨论 都 可 自然 地 平移 到 双 对 
fa it. 


9.3.4 Bhi 


满 秩 的 最 小 一 乘 问题 min || Ax — b Il, AL DA ESO be 

求解 .特别 地 ， 
fis = Vyss = 2» : 

EP ysi yy] 为 方程 By-[ulb.-.ul D 的 解 .注意 ， 
因为 B ELSE, HA q B 的 双 对 角 化 完成 之 后 才能 求解 
y .此 外 ,还 要 求 存 储 向 量 0, svo, 4n ECKE BESATTA 
情形 . 

如 果 将 A 化 成 下 双 对 角形 式 : 


ñ 0 — 9 
| Pl as : 


UTAV = B = ` ` , 


0 
他 这 
Bv-[v.v."cv 1M U=[u,,u5,°", EEZ. 比较 方 
KR A'U-AB! 5 AV = UB 的 两 边 , 可 得 

Alu, = Be-1Uy-y t ma Bovo = 0, 
Av, = ayu, t Battery: 
从 这 些 方程 可 直接 给 出 :个 Lanczos 算法 , 它 与 (9.3.10) 很 相似 ， 
只 是 zi 为 初始 向 量 . 
令 V,-[u.uul;U [uuu 1]; B= Bll:k+1, 
1:5), JE AV, = UL Bi RI ARETE =, ,使 得 ‖ Az llo 


` 576 - 


在 所 有 形 为 r= =, + Vey HHR LAB eB yer All z, 
ER AMMAR. Su (= (b — Az.) || b — Az. l| 2, WA 
A(z, + V,y) — b= UinBy — BI Urnes 
= Uin(Bey - Bier), 

其 中 e5 Li... Buen A, y, CR) Xk PRA 
问题 

min || B,,;y — Bie, llo 
的 解 , 则 z= ry V yz. BETA B, 为 下 双 对 前 阵 , 容 易 计算 Given 
旋转 阵 J1,J2,77, Jí ABB 

Je J B, = pit 

d, lk j 

为 上 双 对 角 阵 .车 Jo Ula b= | | MTA z, = zo + Vion 


= Wid HP W, = VR; l. Paige 与 Saunders(1982a) 指 出 如 何 用 
一 个 简单 的 迭代 从 >. 1 得 到 z, EBRB W, 的 最 后 一 列 . 这 样 
得 到 一 个 称 之 为 LSQR 的 稀 朴 最 小 二 乘 算法 ,这 仅 和 需要 少数 几 个 
n Hp] REIHE BAR]. 


ij xS 


9.3.1 EAH 9.3.1, 使 得 它 能 够 对 9.3.2 节 中 的 对 称 非 定 问题 进 
tmm. 

9.3.2 为 了 有 效 地 进行 (9.3.10) , 需 多 少 存储 空间 ? 

9.3.3 假定 A 是 秩 气 的 ,上 且 (9.3.10) 中 a, =0. 怎 样 确定 u, BER 
能 进行 下 去 ? 

9.3.4 设计 出 (9.3.10) 的 下 双 对 角形 式 ,并 详细 痊 出 9.3.4 节 中 所 概 
j& E) F RAA. 
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89.4  Amoldi 方法 与 非 对 称 Lanczos 方法 


如 果 短 阵 A 非 对 称 , 则 正 交 三 对 角 化 QTAQ = 三 一 般 不 存 
在 .这 时 有 两 种 方法 来 处 理 .一 种 是 Amod 提出 的 ,其 基本 思想 是 
一 多 一列 地 产生 正 交 阵 如, 使 得 OT AG = H 为 Hessenberg PE , T, 
$7.4. 另 一 种 方法 是 非 对 称 Lanczos Ji ik, CHAE Q = 
[gg A P=, pi pr t ps] 的 列 , 使 P'AQ = T = xH 
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ee ee UU UU. J Á. II U UU l — rr 


RB PTQ = L, X T K EE GEX PR A P SE E£ Bi 353 GE [8] RE , pk D Ph r zÉ 
都 很 有 效 . ETE B eT A RAE OS PEOR A AL Az = b. 


9.4.1 基本 的 Arnoldi BK 


把 Lanczos 方法 推广 到 非 对 称 阵 的 一 种 方式 归功 于 Arnoldi 
(1951), 它 利用 Hessenberg 分 解 Q'AQ = 五 .特别 地 , 设 Q — [q  , 
Gos q, ] ,比较 方程 AQ = QH Wir si up $8 


= Dy hadi» ]xbzn-l. 
p ERES 项 分 离 出 来 可 得 


k+l, ki 二 Ag, 一 2 ha = Fis 


其 中 ha = qiAgqgi=1ik. HILAR, £ 470, 则 q 4 VEEP Á 
来 确定 ， 

qk+1 一 re Pasar 
其 中 hii il re | 2 - 这 些 方程 定 儿 了 Arnoldi 算法 ,与 对 称 的 
Lanczos 算法 (9.1.3) 类 似 ,我 们 得 到 : 


ro di 
hi =1 
k = 0 


while (5, +1,40) 
Quai 7 Tees ik 
k=k+i 
= Aq, 
for ;-l:k (9.4.1) 
ha = qiu 
re = ry — hag; 
end 


站 一 Í rs il 2 
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我 们 假定 q, 为 给 定 的 单位 | 范 数 初始 向 量 . g, BRA Arnoldi 

癌 量 .它们 构成 了 Krylov 子 空间 K(A,g,2)09 -组 标准 赴 交 基 : 
span! gis gast ,9, | = spaniqu,Aq,. c7. A* la l. (9.4.2) 

BR k BW, RERI ao FISR k AE Amoldi 分 解 来 概括 : 


AQ, = QH, + nei, (9.4.3) 
其 中 Q, = E? s2307 CRA =1,(:.8), 
hy Ra co c7 Ry 
ha h> Ut hoy, 
H, = | ha, | : 
E : 
Lo st Akuna Age 


AUR n = 0,9] B Qi 的 列 组 成 了 … 不 变 子 空间 , A ACH,) 
TACA). T, f] RY FEO EE dr fe]. Hessenberg 阵 H, 和 Arnoldi 
in] B ZH RA Q, PERERA 的 特征 信息 . 

F yC R AH, 的 单位 特征 向 量 , By, = Ay, (9.4.3) n] 
得 : 

(A — ÀAI)z = ey ` Ths 
其 中 z= Qw. KIN AA Ritz 值 , x 为 相应 的 Ritz 向 量 . 数 
leiy| ;的 大 小 可 用 来 衡量 误差 界 ,虽然 相关 的 扰动 理论 不 
像 对 称 阵 的 情况 那样 有 章 可 寻 . 

Wilkinson(1965,382 页 ?过 论 了 Arnoldi 选 代 的 :- 些 数值 二 的 
TER. 各 对称 阵 的 Lanczos 迭代 一 样 ,向 量 q, 间 的 正 交 性 也 会 丢 
失 . 要 得 到 实用 的 Arnoldi 特征 值 算法 ,必须 注意 (9.4.1) 的 两 个 其 
他 特征 ， 

AR k 步 要 用 到 Arnoldi 向 量 qj,g,,…,g, AH :k,h) 

的 计算 需要 D(R ) 个 flop. 困 此 , 当 产 生 一 长 串 Arnoldi X 

时 ,要 人 竺 出 很 高 的 代价 . 

- H, 的 特征 值 并 不 按照 Kaniel 和 Paige 方式 近似 点 的 特征 

值 .这 与 对 称 时 能 很 快 显露 A 的 两 端的 特征 值 信息 形成 了 
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鲜明 的 对 比 . 在 Amoldi 方 法 中 ,能 否 较 早 得 到 特征 值 的 信息 
强烈 依赖 于 q> 的 选取 . 
这 些 事实 建议 我 们 在 使 用 Arnoldi 方法 时 ,应 当 反 复 地 、 仔 细 
地 选择 重新 开始 和 控制 选 代 最 大 值 .回想 9.2.7 节 中 的 3 步 
Lanczos 方法 ). 


9.4.2 重 开 始 的 Arnoldi 方法 


考虑 Arnoldi 算法 运行 m 步 后 ,从 Arnoldi HÈ guss Gan 的 
生成 空间 中 选取 一 向 量 g, ,再 重新 运行 Arnoldi 算法 .由 关系 式 
(9.4.2) 9+ 具 有 表达 式 : 

q, = p(A0q,. 
其 中 p(x ) 为 某 个 不 高 于 m 一 1 次 的 多 项 式 . WR Av, = Àv, í = 
1:n,q, 有 特征 向 量 展开 式 : 
q, = aty t+ aav, 

Wg, =a p(aAi)v, ++ ap lAn) v, ER, IRI KCA qun) 
fp ARI HEA E GM. 也 就 是 说 ,如 果 P Onan) E 
P (Awan ) 要 大 , 则 Krylov 空间 KCA ,q, , m ) X FIE [B] E m ented 
的 近似 比 x,nwame 要 好 得 多 {可 以 用 Schur 向 量 和 不 变 子 空间 来 进 
行 这 一 讨论 ,而 不 必 涉 及 特定 的 特征 向 景 ). 

因此 ,从 KCA, qu n) PIER TEES RT tA EE y+ 就 是 挑 
选 一 多 项 式 “ 过 滤器 ” ,用 来 除去 不 需要 的 部 分 .有 许多 不 同 的 实用 
方法 是 基于 已 计算 的 Ritz 向 量 , 见 Saad(1980,1984,1992). 

我 们 介绍 Sorensen (1992) 的 一 种 方法 , 它 隐 舍 地 应 用 带 位 移 
的 QR 选 代 来 确定 新 的 重 开 始 疝 量 . 每 经 m 步 以 后 重新 开始 .我 
们 假设 m >; ,;j 为 所 需要 的 特征 向 晤 的 个 数 .Arnoldi 长 度 参 数 m 
的 选取 依赖 于 维 数 n , 正 交 性 丢失 的 影响 和 机 器 的 存 情 跟 制 ， 

经 m 步 后 ,有 Arnoldi 分 解 式 : 

AQ. = QH, + reh, 
其 中 Q. CR'" "BESIDES, H, ER*** 为 上 Hessenberg FE. A QT, 
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=0. 这 里 下 标 “c” 忧 表 “ 当 前 {current)”. 把 带 位 称 的 QR 迭代 应 用 
T H.: 
HV ZH, 
for 1=1:p 
H? — pI = VR; 
HÜ* UV = RV, + pl 
emd 
H, = H(**1) 
这 里 p= m 一 7 ,并 假设 应 用 了 7.5.5 节 中 的 隐 含 带 位 移 的 QR 过 
程 .我 们 将 简 地 讨论 位 移 的 选取 . 
TERM V = Vy: V, 有 三 条 重要 的 性 质 : 
《1 再 ,=VYTHEHY, 这 是 因为 VIH? v; Her), 
《2)[Y] =0,i=1:1 一 1. 这 是 因为 每 个 V, 都 是 上 Hessen- 
berg FA VER PAFÈ p= m 一 了 
(3)V 的 第 一 列 有 如 下 形式 : 
Ve, = aH, pD (H. — pep EY) CH pid ej, 
(90.4.4) 
其 中 a 为 标量 . 
为 了 验证 性 质 (3) ,只 需 考 虑 p = 2 的 情形 : 
VR,R = V,(V;RR, = VCH - m DR; 
= Vi( VIH V, - 4;DR, = CH - pF) V IR, 
= CH — pI) CA — pF) = CH. - gH, - 41). 
国 为 RR p E = # E, eR V = VV. 的 第 一 列 为 阵 (H. 一 
pal) CH, - pA DFR. 
现在 ,我 们 说 明 如 何 利 用 矩阵 V 隐 含 地 选取 新 的 初始 向 量 来 
重 开 始 Arnoldi 过 程 .从 性 质 (1) 可 得 (9.4.3) 的 变换 形式 : 
AQ. = Q, Hit rely, 
其 中 Q, QTY. 这 并 不 是 一 个 长 度 为 m 的 新 的 Arnoldi 分 解 , 因 
H eLV 并 不 是 ex 的 倍数 .然而 由 性 质 (2? 有 
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AQ, (:,1:) = Q, (:,1:j)H, (0:5,1:) + vel. 
(9.4.5) 
这 是 一 个 长 度 为 了 的 Arnoldi 2r E. 3E ; + 1 zF“ BE SJ" 基本 的 
Arnoldi ARF p 步 . 我们 可 以 把 (9.4.4) 延 伸 为 一 个 新 的 长 
EA m 的 Arnoldi 分 解 . 此 外 ,利用 性 质 (3) , TH oz B J 28 F) E 
gi"? = Q , (: LA FRE: 
Qa (:.1)= @.Ve, = aQ.CH, — pØ) (H, — De, 
= a(A — uM - CA — py DD Qe). (9.4.6) 
最 后 一 步 用 到 了 等 式 : 
(A — DQ. = QH — |l) + ren 
以 及 el fC He, =0 对 任意 不 高 于 户 一 1 次 的 多 项 式 成 立 . 
Hlc of? — p(A)q I KP p(4) 是 多 项 式 : 
POA) = (à — py KA — p22) (À — gg). 
这 表明 这 些 位 移 是 “过滤 多 项 式 的 零点 .位 移 的 一 种 有 趣 的 选择 
是 计算 AOL BS EBEN EB 1, 1. 
ACH.) = [ASA U las simt. 
4 uhun i=l p. RAET --P ph” So MET B rH 
A EB EE. 
这 是 我 们 只 介绍 了 隐 含 重 开始 的 Amoldi 方法 的 非常 基本 的 
部 分 .该 方法 有 许多 吸引 人 的 特性 .详细 的 讨论 和 分 析 见 Lehoucq 
和 Sorensen( 1996) 以 及 Morgan( 1996). 


9.4.3 JERR Lanczos = HW 


男 一 种 推广 对 称 Lanczos 方法 的 做 法 是 用 一 般 的 相似 变换 将 
A 化 为 三 对 角形 式 , 假定 ACR", ATES a RE Q 使 得 
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EE 


ay Yi ... Ü 


Bi a 72 
QAQ = T = 
¥n-1 
0 Ba-1 it, 
利用 如 下 列 分 划 : 
Q = [q 7s 9, ], 


QT = P = [pispa] 
比较 方程 AQ = QT S A' P- PT! 两 边 的 各 列 , 我 们 发 现 : 
Ag, = YaiQ, , + Oly + Beart Yogo = 0, 
At p, = Pr-ibr-i + ape + Hpierl, Popo 0, 


k= 1:n- 1. 
i eJ EAE SE TER (EF P'Q = r, 使 得 
QR 一 pilAg, 


与 
Bes; = Te = (A — oq, 7 Ye-1% 1， 
Yabesi = se = (A — aJ) Pe - fias 
在 选择 数 8, 40 y, 时 有 一 定 的 自由 上 度 .注意 到 . 
1 = birige = G2 Gf). 
—H B. 确定 了 ,7 = sir B 选择 B A“ WEER”: B, = 
ll re |z AS FARE: 
给 定单 位 向 量 pt,g1, pTq 770. 
k=0 
q = O35 ro= q, 
po=0;s0= bi 
while( 7,250) A (5,220) A ( sir; 750) 
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— opua malla ee lui lel, TT... EM qp ， 


B, = | rp | 2 

yk = sirg” f 

qe +1 re” P (9.4.6) 
Peta Se/ Ya 

k=kt+1 

a, = PLAG 

ry, =(A — al ay — Ya-19,-1 

s= (A - aD "Pe C Be-1 Pet 


end 
如 果 令 
eq 7 0 
B a2 
T; = ， 
" Yk-1 
0 c7 Bl m 
Wir LIB PE RENS SE 2) F Jy 8: 
ALqi 7.2] = [q U, q | JT, + re b> (9.4.8) 


AT[pi, pe] = [p bl TE sei. (9.4.9) 
E 六 =0, 则 循环 结束 ,spanjal,…,eri 为 盘 的 一 不 变 子 空间 . 若 
ss 三 0, 则 循环 也 结束 ,span| p1，…, pL] 28 47 的 一 不 变 子 空间 . 然 
而 , 当 这些 条 件 不 成 立 且 sh, = 0 BF, SAH E, (8.18 
不 到 任何 不 变 子 空间 的 信息 .这 种 情况 称 为 “严重 失败 ` .关于 此 问 
题 早期 的 讨论 见 Wilkinson(1965,389 31). 


9.4.4 “向 前 看 的 技巧 


研究 一 下 算法 (9.4.7) 的 分 块 形式 中 的 “严重 失 烙 现象 是 很 
有 趣 的 .为 简单 起 见 , 假 定 AER” ”, n=rp. ER: 
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—— m lp aaa aa nail 和 证 本 PP a a yaaa. 


PTAQ = 200 , (9.4.10) 


: Ci; 
D aes B. M, 
其 中 每 一 块 都 是 p xX p BY f RE. w 0 =[81,02,….,0Q,],P= 
[P,,P;,'-,P.]29 Q fü P 恰当 的 分 块 形式 . 比较 AQ = QT 和 
ATP = PTT Bi HRA 48 

Q; iB, = AQ, - QM; - Q4 CT = Re. 

P, G; = ATP, - PM - Pe-1Bl = S. 
注意 ,AM = PAQ, # SIR, 5 Rr?*t 非 奇异 ,我 们 计算 B,,C, € 


RP" P ficis. 
CIB, = SiR,, 

则 
Qr = R,B;'. (9.4.11) 
Prat = SCR" (9.4.12) 


WE Pr 40, =D. SIR, 奇异 时 ,就 会 出 现 * 严 重 失 败 " 现 象 . 

一 种 解决 (49.4.7) 中 “严重 失败 -问题 的 方法 是 寻找 (9.4.10) 
形式 的 分 解 ,其 中 坎 的 大 小 能 动态 的 确定 . 粗 腹 地 讲 ,矩阵 Q. . Hi 
P14! 用 一 些 特殊 的 递 指 关系 一 列 一 列 地 形成 .这些 递 锥 关系 可 计 
算 非 异 阵 PL 1Q;141 的 习 积 .适当 安排 计算 的 硕 序 ,使 得 正 交 条 件 
P1Q,.,=0 8 QTP,., CO 对 所 有 的 :i=1:& 成 立 ， 

这 种 方法 属于 一 种 称 为 “向 前 看 "的 Lanczos 方法 族 . 向 前 看 
的 步 数 是 它 产 生 QM P11 的 宽度 .如 果 这 种 宽度 为 1, 则 可 利 
用 传统 的 分 块 Lanczos 步 .Parlett,Taylor 和 Liu(1985) 讨 论 了 长 度 
为 2 的 向 前 步 .他 们 提出 了 “无 法 补救 的 失败 ”的 概念 . Freund, 
Gutknecht 和 Nachtigal( 1993) B£ $& T — Rz B) d Du, 3E PE ie T 8.22: 
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的 许多 细节 . 考 虚 浮 点 运算 时 , 需 处 理 近似 "严重 失败 的 情 沈 .在 
实际 计算 中 ,每 个 2x2 的 或 更 高 阶 的 M. 都 相应 于 近似 严重 失 
败 的 情况 . 


习 ot 


9.4.1 证 明 (9.4.1) 中 的 Amoldi 向 量 是 正 交 的 . 

9.4.2  uEER(9.4.4). 

9.4.3 证 明 (9.4.6). 

9.4.4 弹出 一 个 初始 向 量 的 例子 ,使 得 非 对 称 Lanczos 3516 (9.4.7) P 
断 , 且 没 得 到 任何 不 变 子 空间 的 信息 .利用 矩阵 


6 
A= |3 0 2). 
1 3 


9.4.5 DA HER" E E Hessendem 阵 , 试 讨论 如 何 计算 一 单位 上 三 
RUA HU = UT, BET E — XE EE. 

9.4.6 说 明 在 非 对 称 情形 中 , 求 特 征 慎 的 QR W TE BE R Fp = * fl së 
H. 


本 节 注 释 与 参考 文献 


关于 Amdi iE HS K EE AAS RA Saad 1992) I 

W.E. Amoldi(1951). "The Principle of Minimized Iterations in the Solution of the Matrix 
Eigenvalue Problem,” Quarterly of Applied Mathematics 9 17—29. 

Y. Saad (1980). “Variations of Arnoldi’s Method for Computing Eigenelements of Large 
Unsymmetric Matrices, " Lin. Alg. and Its Applic . 34 ,.269--295. 

Y. Saad(1984). “Chebyshev Acceleration Techniques for Solving Nonsymmetric Eigenvalue 
Problems, " Math . Comp. 42 ,567—588. 

D.G. Sorensen ( 1992), “Implicit Application of Polynomial Filters in a k-Step Arnold: 
Method, "SIAM J. Matrix Anal. Appl. 13,357—385. 

D.C. Sorensen (1995 ). “implicitly Restarted Arnoldi/Lanczos Methods for Lange Scale 
Eigenvalue Calculations, "in Proceedings of the ICASE /LaRC Workshop on Parallel Nu- 
merical Algorithms , May 23—25 , 1994 , D. E. Keyes, A. Sameh, and V. Venkatakrish- 
nan(eds) , Kluwer. 

R. B, Lehoueg( 1995). “Analysis and Implementation of an Implicitly Restarted Amoldi Iter- 


。 587 ， 


ation, Ph, D. thesis, Rice University , Houston Texas. 

R.B. Lehoucg (1996). “Restarting an Amoldi Reduction,” Report MCS-P591-0496, Ar- 
gonne National Laboratory , Argonne Illinois. 

R. B. Lehoucg and D. C. Sorensen( 1996) . “Deflation Techniques for an Implicitly Restarted 
Iteration. "SIAM J. Matriz Analysis and Applic ,to appear. 

R. B. Morgan( 1996). “On Restarting the Arnoldi Method for Large Nonsymmetric: Eigen- 
value Problems,” Math Comp 65,1213— 1230. 

HAM MES 

A. Ruhe(1984). “Rational Krylov Algorithms for Eigenvalue Computation, "Lin. Alg . and 
Its Applic . 58,391—405. 

A. Rohe( 1994), “Rational Krylov Algorithme for Nonsymmetric. Eigenvalue Problems IT. 
Matrix Pairs,” Lin. Aig. and Its Applic. 197,283—295. 

A. Ruhe( 1994). "The Rational Krylov Algorithm for Nonsymmetric Eigenvalue Problems 
III; Complex Shifts for Real Matrices, "AIT 34 ,165—176. 

T. Huckle( 19945. "The Arnoldi Method for Normal Matrices,” SIAM J. Matrix Anal. 
Appi. 15 ,479—489. 

C. C. Paige, B. N. Parlett, and H. A. Van Der Vorst( 19953, “Approximate Solutions and 
Eigenvalue Bounds from Krylov Subspaces,” Numer. Linear Algebra with Applic. 2, 
115—134. 

K.C. Toh and L. N. Trefethent 1996}. "Calculation of Pseudospecira by the Arnoldi Itera- 
tion, "SEAM J. Set. Comp. 17 ,1—15. 

非 对 称 Lanczos 75 T ALAA IE BY ID Be tt EP SCP AR a SR MU. 

B. N.Parlett, D. Taylor and Z. Liu( 1985). “A Look-Ahead Lanczos Algorithm for Unsym- 
metric Matrices, " Math . Comp . 44 ,105—125. 

R. W. Freund, M. Gutknecht, and N. Nachtigal( 1993). “An Implementation of the Look-A- 
head Lanczos Algorithm for Non-Hermitian Matrices, " SEAM J. Sci. and Stat. Comp. 
14,137—158. 

也 见 

Y. Saad( 1982) . "The Lanczos Biorthogonalization Algorithm and Other Oblique Projection 
Methods for Solving Large Unsymmetric Eigenproblems, " SIAM J. Numer, Anal. 19, 
485—505. 

G. A. Geist( 1991), “Reduction of a General Matrix to Tridiagonal Form,” SIAM J. Matrix 
Anat. Appl. 12 ,362—373. 

C. Brezinski, M. Zaglia. and H. Sadok( 1991). “Avoiding Breakdown and Near Breakdown in 
Lanczos Tyoe Algorithms, "Numer. Ale. 1 ,261—284. 

=. K. Kim and A. T. Chronopoulos( 1991). “A Class of Lanczos- Like Algorithms Implement- 


* 588 ` 


ed on Paralled Computers, " Parallel Comput . 17 ,763—778. 

B. M. Parlett( 1992). "Reduction to Tridiagonal Form and Minimal Realizations, " SIAM J. 
Matrix Anal. Appt. 13,567—593. 

M. Gutknecht( 1992). “A Completed Theory of the Unsymmetrie Lanczos Process and Re- 
lated Algorithms, Part I", SIAM J. Matrix Anal. Appl. 13 ,504—639. 

M. Gutknecht 1994) . “A Completed Theory of the Unsymmetric Lanczos Process and Re- 
lated Algorithms, Part II^ , SIAM J. Matrix Anal. Appl. 15 ,15—58. 

Z. Bai (1994). "Error Analysis of the Lanczos Algorithm for Nonsymmetric Eigenvalue 
Problem, " Math. Comp. 62 ,209—226. 

T. Huckle (1995 ). “Low-Rank Modification of the Unsymmetric Lanczos Algorithm, " 
Math . Comp. 64 ,1577—1588. 

Z. Jia( 1995). "The Convergence of Generahzed Lanczos Methods for Large Unsymmetric 
Eigenproblems, "SIAM J . Matrix Anal. Applic. 16 ,543—562. 

M. T. Chu, R. E. Funderlic, and G. H. Golub (1995). “A Rank-One Reduction Formula and 
Its Applications to Matrix Factorizations, " SIAM Review 37 ,512—530. 

H. A. Van der Vorst (1982). “A Gencralized Lanczos Scheme,” Math. Comp. 39 , 559— 
502. 

D. Botley and G. H. Golub( 1984). “The Lanczos- Arnoldi: Algorithm and Controllability,” 
Syst . Control Lett 4 ,317—324. 


第 十 章 ”线性 方程 组 的 迭代 解法 


$10.1 标准 的 迭代 方法 

$10.2 共 辊 梯度 法 

$10.3 BIEEEBJESE PS BE E 
$10.4 其 他 Krylov 子 空间 方法 


在 上 - 章 , 我 们 介绍 了 如 何 用 Larczos 方法 解 各 种 各 样 的 线性 
方程 组 和 最 小 二 乘 问题 .这 些 方法 适用 于 大 型 稀 朴 问题 ,因为 它们 
不 需要 相应 的 矩阵 分 解 . 本章 将 继续 讨论 具有 这 类 性 质 的 线性 方 
程 组 的 解法 . 

第 一 节 粗 略 地 介绍 了 一 些 经 上 典 的 迭代 法 :Jacobi 选 代 ,Gauss- 
Seidel 3E f XB FA 9 3& N, i ELSE Ko XE FC EE. 2 Br 1 fp 28 X ute 
方法 很 简要 是 因为 我 们 本 章 的 重点 是 阐述 共 轿 梯度 法 ,在 第 二 节 
中 ,我 们 从 最 速 下 降 法 自然 地 发 展 到 这 种 重要 的 技巧 .回想 一 下 ， 
在 $9.3 中 ,我 们 在 Lanczos FRPP RHR THB LX B. 
又 导出 这 一 方法 ,是 因为 它 有 一 些 实 用 的 变化 形式 ,这 便 是 》10.3 
的 主要 内 容 . 在 $10.4, 我 们 将 其 推广 到 非 对 称 的 情形 ， 

我 们 提醒 读者 ,本章 中 的 一 些 记 号 不 太 连 贯 ,在 全 10.1 中 ,所 
介绍 的 方法 是 建立 在 (i,j) 层次 " 故 需 用 上 标 ;:c'*} BRR os 
的 第 ;个 分 量 . 在 其 他 节 中 ,算法 不 需要 显 式 利 用 德 阵 ( 向 量 ) 的 元 
z. Ait, Æ $10.2~ $10.4 中 ,我 们 不 用 上 标 , 记 向 量 序列 为 


| zx, t. 


预备 知识 
阅读 本 章 , 需 要 第 一 章 ,第 二 人 章 中 第 一 至 五 和 七 节 及 第 三 ,四 
章 一 至 三 节 的 内 容 . 它 们 的 关系 如 下 : 
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810.1 $10.2— i 10.3— j 10.4 


$7.4 Le 
KF SS Bf Varga( 1962), Young(1971) , Hage- 
man 和 Young(1981) , AA Axelsson(1994). Barrett F A (1993) X 
于 软件 的 “模板 +447 A. A, m A ELECIE3S AIRE 
AAS MHA. 见 George 和 Liu( 1981) DJ € Duff, Erisman 和 Reid 
(1986). 


$10.1 标准 的 迭代 方法 


在 第 三 章 和 和 第 四 章 中 ,方程 组 的 解法 涉及 到 系数 矩阵 的 分 解 ， 
这 类 方法 称 为 直接 法 . 当 A ARI. ERIKA ATT, AAT 
要 求 的 分 解 因子 是 稠密 的 . 当 A 是 带 状 时 ,是 -个 例外 .然而 ,在 
STREAM, B: 3 +Ë AS te pk 89 , DE +9 VF 3 IAE I 
Cholesky 分 解 等 算法 也 难于 实现 . 

对 稀 玖 线性 方程 组 的 解法 感 兴趣 的 一 个 原因 是 能 数值 求解 仿 
微分 方程 的 重要 性 . RKE, FE HREH AAE ERF BERE 
微分 方程 数值 解 的 研究 人 员 所 提出 的 . 

粗略 地 说 , 解 稀疏 问题 Aa = b 有 两 种 途径 :一 是 选 直 接 法 , 利 
用 稀疏 性 作 和 这 当政 改 .典型 的 修正 策略 是 巧妙 地 利用 数据 存储 结 
构 和 特殊 的 选 主 元 技巧 ,使 得 填充 最 小 . 

与 直接 解法 相对 的 是 迭代 法 . 这 类 方法 产生 近似 解 序列 
fa] ,矩阵 A 只 在 策 阵 向 量 乘法 时 才 用 到 . 选 代 法 的 好 坏 主要 
集中 体现 在 适 代 序 列 1x' 中 | 的 收 化 速度 上 .在 本 芒 , 我 们 将 给 出 多 
种 基本 的 选 代 解 法 ,讨论 它们 的 实际 算法 过 程 ,并 证 明 几 个 关于 它 
们 表现 的 具有 代表 性 的 定理 . 


10.1.1 Jacobi 迭代 和 Gauss-Seidel 3X f 


最 简单 的 选 代 法 可 能 是 Jacobi Jr 35. Ht EMA sú a E HE 
它 才 有 意义 .在 3x3 的 问题 Ac =b 中 方程 等 价 于 : 
| SOL + 


"iw sp ¿ay rr 


= 4 (by — 1232 — 1343) aq > 
x2 = (b27 ant ar3) /an, 
x35 (b47 a3 x,—a3)22)/43, 
假设 PE ce = A b 的 一 近似 , 则 产生 新 的 近似 解 x 人 “+D 的 一 
种 很 自然 的 方法 是 计算 : 
gy) -(b- a zzy) _ ar” an , 
239) = (by ~ ag xi? -anat ) an, (10.1.1) 
rj = (bs asi! — azat) ass, 


这 就 是 n = 3 BF P) Jacobi KR. ARH 8 RRR ART: 


for i=1:n 
i-1 h 
a") = (bh - Daye — >) ayet )/an — (10.1.2) 
1=1 j= +I 
end 


注意 ,在 Jacobi 选 代 中 ,计算 rf** 时 没有 利用 最 新 得 到 的 信息 . 
fiin, BEA al 已 知 , 计 算 ch 也 只 是 用 到 了 zf. 如 果 我 
们 修改 Jacobi 1% ,使 得 每 次 都 用 准确 值 x, 的 最 新 估计 , 则 得 如 
FRE 


for :—1:z 
i—i n 
a (ht) 一 ( b; _ >a tt) — ` agr V? ) 7a, (10.1.3) 
j=l pert 
end 
这 就 是 所 谓 有 的 Gauss-Seidel 迭代 ， 
E PS AE (NEB AT FHABPE LD, U 来 简明 地 表达 .定义 
0 
a>] 0 0 
L= i n 
axl dy ,如 一 0 


= 592 + 


U = DEM (10.1.4) 
"e An-l,n 
0 
特别 地 ,Jacobi ERRA JE s, Myr AU = Ng? + b KP M; = 
D,N; = - (L + U). 55 5b, Gauss-Seidel 选 代 可 用 Mg xt? = 
No x) + bRRIK IKE Mo - L + D,N;— - U. 


10.1.2 矩阵 分 烈 和 选 代 收效 性 


Jacobi 方法 和 Gauss-Seidel 方法 是 一 个 大 的 迁 代 方法 族 : 
Mrt) = Nr + h (10.1.5) 

的 上 典型 代表 .这 里 A = M 一 N 是 矩阵 BJ— TP. 3 T ERN 
(10.1.5) 实 用 , 当 M 作为 系数 矩阵 时 必须 容易 求解 . 在 Jacobi 选 
代 和 Gauss-Seidel 选民 中 ,MM 分 别 是 对 角 阵 和 下 三 角 阵 . 

(10.1.5) £k Ek PEE p| E ik ak BJA > = A "上 取决 于 
M IN 的 特征 值 . Wik E X. n MEG 的 谱 半 径 为 

p(G) = max{]A|:A € A(G)}. 

PUMN) AKDA C0.1. 5) TE A . 

EA 10.1.1 ib b CR" PASM- NER” EFA, OR 
M ERB M UN 8078-2428 R (M IN) <1, Stee 9 
F rO Mek = NO + b P k 5 k N A 58) | z) | ac ore t 
r-A lb. 

证 明 iu et - uU 5 v X85 k babik IRE. E Mz = Nz 
tb 可 得 M( xt 1) —~7)=N( zc? — x). Alt 

etk+1) — Mone — (MINY Af 

HI 7.3.2 可知 (MINY — 0 AR (M 'N) < 1. D 
对 研究 按 下 列 思 路 所 构造 的 算法 ,这 一 结果 是 非常 基本 的 . 

.把 各 分裂 成 让 =M -和 ,使 得 方程 组 Mz 一 4d SHRM; 
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ú=. HazƏaT mama 
— rr a ———————————— RE —HÓR( 


EA H k NAER G = M IN WR p (G)< 1 HERA. 
“给 出 关 p( GG) 的 一 些 进 一 步 的 结果 ,分 析 残 差 éU) Ed A 
TRH. 
例如 ,考虑 Jacobi zkf& Dx ^^ = — (L + Ua 二 十, 保证 
PLMIj Nj)<1 的 一 个 条 件 是 严格 对 角 点 优 .实际 上 ,车 A 有 此 性 
质 ( 见 3.4.10 E), WJ 


(MI'N) < |p (L + U) || = = max >; 


Sn] 


< I. 


aj 
通常 , 对 角 元 越 占 优 , 收敛 速度 就 越 快 ;但 也 有 反例 ,见习 是 
10.1.7. 

为 了 证 明 Gauss-Seidel 选 代 对 于 对 称 正 定 纸 阵 是 收 伍 的 , 需 
了 要 - -个 关于 谱 半 径 的 更 为 复杂 的 结果 . 

定理 10.1.2. 3 A COR" * 对 称 正 定 , 则 对 任何 初始 值 rt 
Gauss-Seidel 3&4X, (10.1. 3) 4k, 

证 明 #ÆABĘRASL+D+L",D= daglas), L 为 严格 下 
注 角 阵 .根据 定理 10.1.1, 只 需 证 明 第 阵 G= - (D + L) 1LT BJ 
特征 值 在 单位 图 内 .既然 D 是 正定 的 ,我 们 有 G I = DI'2GD-2— 
(AL. LI Hi L =D LD AH G 5 G, 的 特征 值 
相同 ,我 们 只 需 证 明 o( GU) 1.4 Gyr = Ar, 4c =1, 我 们 有 
-Liz== À (I+ L,)z, Hi- zHLIr = A(1 + xÜL z). 2 
zL, zr =a +t ib, WA 


二 下 十 到 
li+at+ oi 


然而 ,由 于 DAD? = F+ LL LT 正定 ,不 难 证 明 0<1+ 
z”Lir + "LIe 二 1+24 ,这 意味 着 | |< 之 1. 口 
这 一 结果 经 常 被 引用 ,因为 很 多 栏 圆 型 仿 微 分 方程 离散 化 以 
后 得 到 的 和 矩阵 常 是 对 称 正定 的 .在 文献 中 ,出 现 了 许多 这 类 的 结 
Fe 
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|x|? = 


w 
Tcr Hon aria PP a  ' 


10.1.3 Gauss-Seidel 3E 46853 3c E 3c 3d 


我 们 现在 集中 讨论 几 个 关于 Gauss-Seidel 3E (C 89 3E FH 2p T. 
为 了 使 算法 实现 起 来 简便 ,把 Gauss-Seidel 3E C265 Jin : 


for i=in 
1-1 n 
z; = (b; 一 > agr; - > az, ) Za, 
271 g7:*1l 
end 


这 一 计算 需要 太 约 两 信 于 A 中 非 零 元 的 个 数 的 浮 点 运算 .要 
得 到 工作 量 的 更 精确 的 结果 是 没有 意义 的 ,因为 算法 的 实际 运行 
在 很 大 程度 上 取决 于 相应 问题 中 的 算 阵 结构 . 

为 了 强调 这 一 点 ,我们 把 (10.1.3) 应 用 到 NM X NM JE: = 
HARR: 


T 7l, By fa 
- I, T - I, E2 f^ 
"n : ` = , (10.1.6) 
— I, . 
— I, T Em fn 
4 -1 
Gil,; 
-1 4 -1 (L) 
AP T = -1 E = : 
p G(N,}) 
4 (ON ,j. 
F(1,7) 
gol 
F(N,j) 


34 Poisson 方程 在 一 长 方形 上 离散 化 以 后 得 到 的 就 是 这 种 问题 . 容 
易 证 明和 矩阵 A 是 正定 的 . 
4iC1O,Nt+1RSEIOM+1 HAE GC) 20, RINT 
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LEH IE iE Gauss-Seidel 选 代 写 成 如 下 形式 : 
for ; -1: M 
for i =1: N 
G(i,j) -CF(G,)) +t GU 1,5) + Glitl,7)+ 
G(i,j-1)* G(i,; - 12) 7/4 
end 
end 


TES EI TE A 没有 存储 要 求 . 
10.1.4 ERWE (SOR) 


Gauss-Seidel 选 代 由 于 具有 简单 的 形式 而 引 人 注 目 . 不 替 的 
是 , 当 MoN; WJ E ES BEC 1 Bd, c CER 1, U S UR 3E 
e? DJ oC MG ING) BE BEEDGECEE AT BOE — Aw C R , 
把 Gauss-Seidel YE (FF 20 P f£ IE : 


for ¿= i:n 
il n 
xD wb, u Mage) _ >` aprit) ) /as 
j=l 了 一 id 
+ (1 — wx? (10.1.7) 
end 


”这 就 是 超 松弛 方法 ,利用 (10.1.4) 中 的 记号 ,可 以 看 出 SOR BK 
Hi FRR PRESS Hi + 
Mx — Nue OU ub, (10.1.8) 
其 中 M, = D wL,N,-—(1- w)D — wU.X'/V LA RAY 
(48 1B 38 92) fo] RE, 0 (10.1.6) , E p(MwN) 最 小 的 松弛 参数 
w B9 & d cs ag. 此 外 ,有 一 个 重要 的 结果 pM LN.) = 
p(MalNc). 但 是 ,在 更 复杂 的 问题 中 ,要 决定 一 个 合适 的 w, 需 
要 进行 非常 复杂 的 特征 值 分 析 . 


10.1.5 WIES X SEE rik 


Fy — Er Jn y x8 Te Be E E ij 77 të E: Ld E638 X C Cheby- 
+ 5965 ` 


pla ke eka E 
cc n tf 
| 


shev) 多 项 式 . 假 设 D, rP, o, rO BRR MUTO = NeW 
+b 产生 .我 们 希望 确定 系数 (P). = 0: k ,使 得 


k 
y = Su lke? (10.1.9) 
+ 二 他 
Kh 88 E rO a. = QUO— y RARER y = 工 , 因 此 要 
求 
uk) = 1 (10.1.10) 
y= 0 


在 此 限制 下 ,我 们 考虑 如 何 选取 (CR) y P PRE EE. 
回忆 定理 10.1.1 的 证 明 , 2? — z = (MIN) Fe Hh e 


za rz, PA 
È k 
yi) -gz = Deka? — z) = >)», (k)XM lN) v9 
isd J=0 
两 边 取 范 数 :| ,得 
yz pa (E) llo Pe Ia, (10.1.11) 


其 中 G=M LN， 


P (z) = 2 vk) 
由 条 件 (10.1.10) 知 P,(1) =1. 
在 此 基础 上 假设 G AA ARE: 
-I< aS A, S Àn nue XA. X 8 «1. 
从 而 有 
| C) Ma = max | CO | max | pe(2)|. 


因此 ,为 了 使 得 PikG) 的 范 数 很 小 ,我 们 需要 寻找 一 多 项 式 使 其 
在 区 间 [a ,8] 上 尽 可 能 小 县 满足 p (1) =1. 考 虑 由 递 推 公式 c(z) 
= 22c;-,€z) — cj-2(z eg (z) =1,¢,02) = z PE W Chebyshev € 
项 式 gle). 它们 在 区 间 [- 1,1] ERR [eC | <1, AR i 
[一 14,1] 之 外 ,上 升 很 快 . 因此, 多项式 p, (2) RH 


SS ee r aca Te | 


ple) = a (-1+25= 2) aly), 


Hh a= -1*22 = 1124 T. E WE 9, (1) 1 BE[a, 8] 


上 很 小 .从 p CORE XR SESRKCLO. 1. 11) RT AH 


(0) 
(k) _ JL z” Ihe 
| y r | > < es | . 


因此 , 当 pe 越 大 , 收 敏 的 加 速 也 越 快 . 

为 使 上 述 讨 论 成 为 -- 个 实用 的 加 速算 法 ,需要 出 (10.1.9) 更 
有 有效 的 方法 来 计算 >) Bp (B Ut n 是 很 大 的 ,因此 ,对 很 大 的 
让 ,利用 h, D, ce MBA EN, ABBA TRE 
的 . 

幸运 的 是 ,利用 Chebyshev 多 项 式 中 的 三 项 递 推 公式 ,可 导出 
上 述 算法 的 三 项 递 推 计算 公式 .特别 地 ,可 以 证 明 : 若 


a a= 22 Bre cp) 
p-a chrl) 
则 
y D = uu, LUC y E yt D+ re BH) + yD, 
Mz) =b- Ay, (10.1.12) 
Y-72/(2-a-g) 


其 中 Q0) = 100,40 — LO .我 们 这 一 技巧 称 为 相应 于 My) = 
Ny! + b 的 Chebyshev 半 迁 和 找 方 法 .为 了 使 加 速 有 效 , 需 要 好 的 
FR a SLAB. 和 SOR 方法 一 样 ,除了 少数 几 个 有 结构 的 问题 
之 外 ,这 些 参 数 很 难 确定 . 

Varga( 1962, 五 章 ), Golub 5j Varga (1961) RA Ha dr T 
Chebyshev 2E 3& fV Jr 3E. 


10.1.6 对 称 SOR 方法 


在 导出 Chebyshev JH zE J£ Xy bt, FR B: r EREE G = 
MIN 对 称 . 因 此 ,我 们 上 面 简单 的 分 析 不 能 应 用 于 非 对 称 SOR 
- 598 - 


nn TM rr i a a a Lm PG 


PER Me MIN, Rit, TL SOR 方法 对 称 化 ,使 之 可 利用 
Chebyshev 加 如 技巧 , 其 思想 是 将 SOR 法 与 回 后 SOR 34 PUB 


合 : 


for ;- n:—1:1 


zD = (s, - E Ma asc?) fa | 


a-w) (10.1.13) 
end 
在 (10.1.7) 中 ,把 未 知 数 的 顺序 颠倒 过 来 ,就 得 到 上 面 的 选 代 . pl 
后 SOR 方法 可 用 (10.1,4) 中 的 矩阵 记号 来 描述 ,特别 地 有 
Mx et) = Ne) + wh, 
其 中 
M. = D +U, N, = 1-wD- wh. (10.1.14) 
如 果 A HRU = LI) MJ M, = 前 ,入 = N34, 且 有 如 下 选 代 : 
Mx UDIN UU Lab, ` 
Mx R D — NT LO M2 十 ub. 
很 显然 ,G = MLI'NL-M.IN, ix D EERE RE. 从 M, f 
No We XAT 
G=M'N=(M,D UM!) !( NLID !N,). (10.1.16) 
如 果 DD 的 对 角 元 都 是 正 的 , 且 KK! 为 NID `! N,, 的 Cholesky 分 
解 , 则 KTGK T= K'I(M,D ! ML) 1K. 因 此 ,G fH fe] — ERE 
阵 ,特征 值 为 实 的 . 
选 代 (10.1.15) 称 为 对 称 超 松 弛 和 进 代 方法 (SSOR). EA 
Chebyshev TEAR De dr HE — E H. 


= g 


10.4.1 TA Jaci ik [BIDS gx AP — uu + nU OBR, HP 
r$] =b- ac), SRS HA Gauss-Seidel BRHAER. 


(10.1.15) 


» 490 + 


i pp rr ere lu 


10.1.2 DEAR 58 Peet FB ph GL M Gauss-Seidel EAC MM. 
10.1.3 证 明 : 对 2 乘 2 对 称 正 证 矩阵 , Jacobi AMR, 
10.1.4 证 明 : 若 A 二 对 一 N 是 奇异 的 , 则 既 使 是 M EAH. BADE 
A p(M~'N) <1 成立， 
10.1.5 证 明 (10.1.16) 
10.1.6 HEPA BB 10.1.1 的 道 命题 . 也 就 是 说 , 若 选 代 MIU = 
Nx“) + b Bu ay, p(M ND. 
10.1.7. (Hi R. S. Varga 提供 ?假设 
1 -172 1 — 3/4 
A-[ ia 1 | ZI I | 
J 和 天 分 别 是 相应 的 Jacohi XE fU XB BE , TERA pF) > (Ts) SHER RMP 
论 : 对 角 元 占 优 程度 越 大 ,Jacobi ERA zi HE Bk Be, 
10.1.8 Chebyshev 算法 由 下 面 参 数 确 定 : 
2c, (17p) 
goa Ze)" 
iX e(A)—cos[& cosh '(A)] a> 1. 
(a) HU Ü< o 1 WH 2>1 有 1< X2. 
Cb) HE AA : «eui. 
《c) 确 定 : 当 >o0 时 的 极限 lita us. 


YER+1 — 


10.1.9 seamen a= | °|. 


《a) 在 什么 情况 下 Gauss-Seidel 35 (00 9i ? 
(b) 对 于 什么 样 取 值 范围 的 参数 w, SOR Jr dic? 这 一 参数 的 最 优选 
取 是 何 值 ? 


L S, 
(c) X58 4=| 1 | arco aom reta GRE s 的 奇异 人 


分 解 ). 
10.1.10 我 们 要 求 方程 Au — / OR. ATE AT,— TREMORS 
考虑 下 列 方 程 的 有 限 差 分 明 近 ; 
— a” + gu = 0, aral, 
u0) = 10,u(1) = 102’, 


得 到 的 差分 方程 如 下 : 


~u;-, + 2u,— 4,4, t Rar — wt)=0, ¿i=l:n 


Mp R= oh, uy = 10 Hu, = 10e, MR Bë 34 h T 1, ER Ma D = 
Nu f ABR BEA BA? 其 中 M= (A+ ADZ2,N- (AT - A)⁄2. 

10.1.11. 考 虚 选 代 : tl = w (By + d— yk D) +q yl) r B 
的 Schur 3348 29 OT BQ = diag( 44,4257, An h Aye coe A, AB a = Bz + d. 

(a) 导出 一 个 关于 eh = yt 一 工 的 方程 

{tb} 假定 yi? = By + d , UE BHI elt) = b Be, Fey 上 为 偶数 时 ,pp 
ARRETA, 为 奇数 为 ,pi H-BKAMK. 

(o) pH = GTe 提 ,导出 一 个 关于 f. = 1:n 的 差分 方程 , 试 确定 
fO 和 AD 的 准确 解 ， 

(由 说 明 如 何 选 取 最 优 值 +e. 
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§10.2 共 斩 梯度 法 


SOR 方法 .Chebyshev 半 泛 代 法 以 及 相关 方法 的 一 个 困难 是 
它们 依 炉 于 参数 ,而 适当 地 选取 这 些 参 数 有 时 是 很 难 的 .例如 ,在 
Chebyshev 加 速 技巧 中 要 估计 选 代 和 矩阵 MIN 的 最 大 .最 小 特征 
值 .除非 该 矩阵 有 充分 的 结构 之 外 ,否则 要 做 到 这 一 点 是 从 解析 上 
^n FERRET LARK. 

在 本 节 FAR IE Ge [SIRE Ax = 6,341256 SE Sa. E EE 
的 一 个 方法 , 即 著名 的 Hestenes-Stiefel 3E gg Bé PF E. TE 9.3.1 © 
中 ,我 们 已 从 Lanczos 算 中 导出 过 这 一 方法 .现在 ,从 另 一 角度 来 
导出 此 方法 ,此 推导 也 为 $10.3 和 10.4 中 的 几 种 重要 推广 作 准 
$$. 


10.2.1 最 速 下 降 法 


导出 算法 的 出 发 点 是 考 考 如 何 极 小 化 下 列 函 数 ， 
$(2) = Fat az - ale, 
bE R", A € R""^. BR A 对 称 正 定 . ó (x) HRS 
SEA Tb $ LL AND 即 可 得 到 .因此 , 当 A 对 称 正 定时 , 极 小 


化 PCa AURA Az = b 是 等 价 的 . 
极 小 化 站 zy 的 最 简单 的 策略 之 一 是 最 速 下 降 法 ,对 当前 点 
z PCr ER RET - V $ (z,) = b — Az, 上 下 降 最 快 .我 们 称 
E 603 E 


r. = b Ax, 为 残 基 .如 果 残 量 非 零 , 则 存 一 正 数 a ,使 得 (x + 
or KEC) .在 最 加 下 降 法 (用 精确 线 搜索 ) 中 S 
a= rip. /riAr, ; 
MU F BEA: 
(x, + ar.) = $(2,) — arlr. + J a2rtAr,, 
达到 极 小 .我 们 给 出 如 下 算法 : 
Xo 4. 
ro5 b — Aro 
Ë =Ü 
while 7,0 
k=k+1 
ar = FRATRI TE -YÁTg-] 
Xp Ex. + ret (10.2.1) 
rp = b — Az, 
end 
可 以 证 明 : 
00:2: 
这 说 明 算 法 是 全 局 收 伍 的 .不幸 的 是 , 当 条 件数 <, (A) = 
AAAa) 很 大 时 , 收 和 伍 的 速度 是 极 慢 的 .在 几何 上 ,这 意味 着 
PC x ) BY S gg Be Re — Hs PHAR MEE RAB BR. 找 最 小 点 ,也 就 是 找 --- 个 
Pi x BEI P Vad SO A I OR. CE RE, 38 


去 地 穿越 山谷 ,而 不 是 顺 着 谷 而 下 . 换 句 话说 ,和 迭代 中 梯度 方向 的 
BCR EB RK. 


10.2.2 一 般 的 搜索 方向 
为 了 避免 最 速 下 降 法 中 的 缺陷 ,我 们 考虑 沿 着 一 组 方向 ji， 


— | 
-一 一 ——l— a h ha —s re 


Pa 逐步 极 小 化 多 ,它们 不 必 是 残 量 方向 |royrli…… 上 上 Bi, 4 
a= a, = bir i pIAD, PF, SC uo ap ) 5 I SEX EE EK 
a, Hy iE: 

1 (pina 
2 (biAb)) 
为 了 保证 $3(z) 的 值 能 减 小 ,pi 与 天 -1 不 能 正 变 .这 就 导出 了 算法 
的 框架 : 


#(x=, t apr) = $6 GL) 一 (10.2.3) 


EOE xy 
ro=6— Azo 
k=0 
while +; = Ü 
k=kt+i 
选 一 方向 pr ,使 得 pirr- 0 (10.2.4) 


ar = Pirr- 1/ PAP 


XQ — Th -1 T Gk 


rQ—b— Ax, 
end 
YER, z, € xo + span{ pi, cc. Pet = {zo  Yipi j oc + Ypres 


y; GR |. SRT HY H AE pt A EE FA fg ut Uc HE, X BE ER El 
下 降 法 缺点 的 搜索 方向 ， 


10.2.3 A HRB RHA 
如 果 搜 索 方向 是 线性 无 关 的 , 且 >, 为 下 列 问题 的 解 


min ${x) 
xExq+spant pj "bil (10.2.5) 
&-1i12,-, I BE DE UE eon zb CUR 2X PEEL X REN D. x, f 
pr) ER 上 最 小 ,从 而 Az. = b. 
然而 ,为 了 使 这 成 为 一 种 可 行 的 途径 ,搜索 方向 必须 具 和 省 这 样 
的 性 质 : 能 够 很 容易 从 z, -1 计算 出 x .让 我 们 考察 一 下 ,在 上 述 条 
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件 下 怎样 决定 p.35 
+, = Fo + P, iy top, 
其 中 P, =[ piss phy ERE l ¿€l , 则 
$C) = 中 (rn + P, iy) + ay PhiAp, + T PAD, — apiro. 
如 果 p, € spanl Api, "Ap, aU EIE X i ay Pl Am WE, 
且 寻 找 最 优 的 x, 化 为 两 个 独立 的 极 小 化 问题 ， 一 个 是 寻找 y, 一 
个 是 寻找 a, BI 
本 $(n)- min (rg + Bay + af) 
2 
= nin( Fro + P,. iy) +S pian — air | 
= min $ Cg + P, iy) + min| + pEAp, 一 aplra) 
注意 ,车 从 -1 是 第 一 个 极 水 化 问题 的 解 , 则 1 二 TD 十 加 
在 xetspanipi.Da,77 Ph- i 上 极 小 化 fir). Mf a 的 极 小 化 问题 
之 解 是 az = piro plap H A REA 
Pirr- = pi(b — Argi) 
= pilb — Alzo + P, v) 
= piro. 
利用 这 些 结果 可 知 Tk = r-i t ap. HIS P| Y (10.2.3)ñ 4 #l 
T: 
xq = Hti 
Ë =Ü 
ra b — Ax 
while +, EO 
k =k +1 
it p, spani Api, Apr- t, B. ptr, 10 (10.2.6) 
ay = Pire-1/piAp, 
fk Xy-1 + app, 
E 606 + 


r= b — Ax, 

end  - 
nag de HH pk sS E UA E TER BS TR 35 Jy m I RERS. 

8|$88 10.2.1 3 r, 40,8) J p, € span} Api, 77 Api 11 
H plr, 10. 

证 明 当天 =1 时 , 令 pi = ro. k > 1 BILE r, 750 HI AI 
A lb @€zo + span] piss pu cid 7 6 Ë Azra + span] Áti, o7 
Ap, -117 rg €spanl Api, Ap. 11. 因此 3 p € span | Api, n, 
Ap, -il 使得 pl ro AO. 1H z, (€ zo + spanl pi, Pg 11 所 以 
ry-1€ ro^ spanl Api, Ap E. 1l Mai n f pr, -1= promo. 

U 

(10.2.6) 中 的 搜索 方向 称 为 4 HHH, AKA £j, 
有 plAp, -0. 3E p, — [51,7 p, ] E Hp #Ë jp] RE 2H W, EE EE , U 
PIAP, =diag( p] Ap1,… PIA pP AE EAE aX REIR OS A 是 正定 的 
且 搜 索 方 向 非 零 . 由 此 可 见 , P, 列 满 秩 . 这 保证 了 最 多 n Pe, 
因为 x, (如 果 选 代 到 这 一 步 的 话 ) 在 van (P, ) = R" 上 极 小 化 
(x). 


10.2.4 ARMER RAH 


一 种 结合 最 速 下 降 法 和 A RRA EAE 
(10.2.5) 中 选取 离 +, -1 最 近 且 与 pio, p LA HH pi. 这 就 
458) T 3E BE BR BETE RE OO”: 

给 定 初 慎 xo 

k=0 

ro b — Aro 

while r,0 

中 一 天 十 二 
if £ —1 (10.2.7) 
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else 
选取 p, ,使 得 它 在 空间 span| AP, Ln Ap, 11 ER 
小 化 | P^ r-i | 2 
end 
ar = Pire-1/DiAPE 
£g ™ Tp -1 T GRDR 
r = b — Ax, 
end 
x= x 
为 了 使 该 算法 成 为 稀 朴 问题 Az = b 的 有 效 解 法 ,我 们 需要 计算 
pi 的 有 效 方 法 .为 了 得 到 最 终 的 迭代 公式 ,还 需 大 量 的 分 析 . 第 一 
步 , 先 证 明 p, 为 某 个 特定 的 最 小 二 乘 问 题 的 残 量 . 
引 理 10.2.2 % £252 时 ,由 算法 (10.2.4) 产 生 的 p, 满足 
Pe = re-1 — AP, 12; _15 
其 中 P, [Pi pase :Pr-1] ,zi - 129 


min | rg- 7 AP, (z ll 2 
z€] 


的 解 ， 

WEBB B z, ALAR) REBAR,» 为 相应 的 残 量 :p 
=r}-1 — AP, 12; 1. 由 此 可 得 pt aAP,_, = 二 0. 此 让 ,p= [£ - 
(AP, ))CAP,- 1)" ]r;-i 内 -1 到 ran( AP, 1) - EBIIESEHERE. 
WEE ran( AP, - |) PS r, _1 最 近 的 向 量 .因此 p= py. " 

利用 这 一 结果 ,我 们 可 得 到 许多 关于 残 量 内 ,搜索 方向 p, 和 
Krylov 子 空间 

K(A,rg,k) = spani ro, Aro, , A* | rel 
之 间 的 重要 关系 . 
定理 10.2.3 46k (10.2.4) F Bit k FURST: 


Fe = fà) Gp Pk (10.2.8) 
Pir, = Ü (10.2.9) 

spanl piant, Pe! = spanirg, 7,7; 41 = K(A,rg,k) 
(10.2.10) 


 ————— . w m T w n m nr rr xm mad r 


BRE rosy. sr, ZAGER. 

证 明 Ex, =2,-,+a,p, PEIZESE A ARE LB 
Jj (10.2.8). 

为 证 明 (10.2.9) ,回想 前 面 已 得 出 zx; = rg Pe, HP y, de 
8(zo+ Piy) = $(z0) + TY CPTAP y - YT Pi — Axo) 
的 极 小 点 .这 意味 着 y, 为 方程 组 (PIAPi)y = PIO- Axo) BUF, 

因此 
0= Pi(5 ~ Aro) - P AP oy 
= Pi(5- A(x + Pty) = Pin. 
为 证 明 (10.2.10) ,我 们 注意 从 (10.2.8) 有 
Apis Ap span ros, rai, 
而 且 从 引 理 10.2.2 有 
Pr = re-i — [Api, ,Ap i € spant ross 74-11. 
从 而 
[一 [ro rei ]T, 
其 中 了 为 某 个 上 三 角 阵 ,由 于 搜索 方向 是 独立 的 , 故 卫 非 奇 异 .这 
说 明 
span! pi spat = spanirg, ril. 
利用 (10.2.8)? 可 得 
ry € span] re-1, Api} S spani rg 1, Aro.» Argi}, 
由 与 纳 法 知 (10.2.10) 的 后 一 等 式 成 立 . 

最 后 ,证 明 这 些 残 量 是 正 交 的 .从 (10.2.9) 可 条 r, 5; P, 的 像 
空间 中 的 任 一 向 量 正 交 .而 由 (10.2.10) 可 知 此 像 空间 包括 ro, 
Fis 一 [i 

利用 这 些 事实 ,我 们 下 一 步 证 明 Py 是 前 一 个 搜索 方向 Pr-1 
与 当前 残 量 ri _ 1 之 间 的 线性 组 合 ， 

推论 10.2.4 (10.2.7) 中 的 残 量 和 搜索 方向 有 如 下 性 质 : 

Pe © spanlpyci, rg ail, & 22 
H 609 . 


证 明 外 =2 时 ,由 (10.2.10) 可 得 p;C spanl ro, rii. fH py = 
ro ATLA po Æ p, 与 ri 的 线性 组 合 . 
k 222 时 ,把 引 理 10.2.2 中 的 向 量 z, PEE F Ar: 
bh -2 
m 1 
运用 恒等式 r, = r -2 — gp -1Ap,- A 
Pr = ry 7 AP; az 
= ra — AP; sz — pAp;-| 


Zh-1 一 


= (1+ reat ie 
ap] 


_ z“ 
Sl AP, 2m 


c span{ ry 5, AP, xo i 
Z spani re 2. Api, Ap; 2! 
CC spaniri,77,rg 2l. 
因为 r 总 是 相互 正 交 的 , 故 suc A re- E3. AE, 3138 10.2.2 
中 的 最 小 二 乘 问 题 等 价 于 选择 zo 和 ,使 得 
adio (1+) ce 
达到 最 小 .既然 -> 一 4P 22 BJ 2 范 数 当 z= z, RDA 
BH pii FRA s, dé Pia —T REX. 因此 pr € span r4-,, 
fy 1l UD 
我 们 现在 导出 p, 的 一 全 简单 的 表达 式 .不 失 一 般 性 ,根据 推 
论 10.2.4 可 设 
Pe = re-i t Bibi 
由 p¿-: Ap, =0, 7 1% 
Be =- pl Arra Pi- APs a 
AS SESE PER "ROCA 17: 
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始 定 初始 值 + D 


k =Ü 
| rQ— b — Axo 
while +, > 0 
k=kt+1 
if k=1 
Po ro 
else 
By = 7 ph-1Arg-1/Ph-\APe-1 
Pi = ry-1 t Bpr-l (10.2.11) 
end 


ar = Pare —1/P ADs 
X = TE t apk 
r= b — Ax, 
end 
x= 
TERE IE SP A 6 S — K 3 I8] B5 E I 16] RE a, A) 
用 rp = r -1 - a,Ap, 计算 残 量 以 及 将 
reir = Gg ATI LÀDR A (10.2.12) 
TR-2T-2 = Gy APR-1A DA (10.2.13) 
代入 By 的 表达 式 中 ,就 得 到 下 面 更 有 效 的 形式 : 
算法 10.2.1: (JE EE BE HE GEO. 如 果 A CRIT st ER, 
b CR" xg € IR" 324035 R 48 48 (Axe oe b), A Fa XE šE sT + 3 th 
人民" ,使 得 Ar-b 
k =Ü 
r= b — Aro 
while r, >Ü 
k=k--1 
ifË—1 
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Pirro 
else 
Pe = "Lana rana 
Pe 7 rd + Pea. i 
end 
Gy =r} -irg of DIAD 
Xy © Tal agp, 
Fe T rl AP, 
end 
== Ep 
这 个 算法 本 质 上 就 是 出 现在 Hestenes 和 Stiefel (1952) Eg Xt fg dt 
轿 梯 度 法 的 形式 .注意 ,每 步 迁 代 只 用 到 一 次 矩阵 向 量 乘 法 . 


10.2.5 与 Lanczos 方法 的 联系 


在 9.3.1 节 中 ,我 们 从 Lanczos 算法 中 导出 了 共 示 梯 度 法 . 现 
TE , RITEAR HET" Sp HY” Lanczos 方法 来 看 两 个 算法 之 间 
的 联系 , 令 
R, = [rari eri] E RF, 


B, 为 如 下 的 上 双 对 和 角 阵 


1 -£ 0 

H. = 7. € ex 

Ë "ue _ B i - 
Ü 1 


从 方程 p; = ri- t Bibi vi —72:k p, — ro PÍ NI R, = P,B,. 既然 
ERE P= [pi p ] 的 别 是 A ESE RTLA REAR, = 
Bldiag( pi Api, PIAD, ) B, AH RE. A (10.2.10) 8] 31, i E 
A = diag(po,*". 9-1) p; = It ri lle, 
则 RA HFFA SI span] ro, Aro». A* 1rol 的 -一 组 标准 
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PEF Fe op Eo ee eee op 


EZ. B yk, X FE A EE 9.3.1 中 的 Lanczos 向 
量 , 即 
qi 5E rjia/p-pi-lik 

此 外 ,相应 于 这 些 Lanczos 向 量 的 三 对 角 阵 为 

T, = A !Bldiag( PIAP)B,A !. (10.2.14) 
iX 1-58 E En) EST fg cL DOG £8 pu FE FE BS HE 2 09 3 [rp Ee np 018 
到 的 .因此 ,在 算法 10.2. 1 中 ,产生 >, 的 同时 ,也 得 到 了 A 的 两 
病 的 特征 值 (条 件数 ) 很 好 的 估计 ， 


10.2.6 一 些 实用 的 细节 


算法 10.2.1 的 终止 准则 是 不 现实 的 , 由 于 舍 入 误差 的 影响 ， 
残 量 间 的 正 交 性 有 所 损失 ,从 而 在 数学 上 不 能 保证 有 有 限 步 终 上 上 . 
Sh, 24 fr HEHESBE BE RE SF n 通常 如 此 之 大 ,使 得 O (n ER 
工作 量 也 是 不 可 接受 的 .因此 ,通常 根据 最 大 和 迭代 次 数 二。 以 及 残 
量 的 范 数 来 给 出 终止 准则 .这 就 导致 算法 10.2.1 的 实用 形式 : 
a= MSIE 
k = Ü 
r= b — Axg 
ø= || r ili 
while (V pe >e || b ||. )A(F< kmn) 
k=k+1 
if £ =1 
pr (10.2.15) 
else 
Bx = Pk p -2 
p-rtfp 
end 
z = Ap 
a, = py 17 p co 
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TEEEEK)SPPNUR M um — ———Por———————————UUrn —— ——á————————'À—Idao—Á—— a rr | ee 


== r+ ap 


r = r — gy 
Pe 一 | r [5 
end 


fr Gb EC k dE SE KSA BAIA 10n KE Rie 
Ae, SLAB fef PUT I) EE mn, p 和 ww. 标 量 的 下 标 是 
不 必要 的 ,这 里 不 过 是 用 来 与 算法 10.2.1 比较 而 已 . 

用 (10.2.14) 给 出 的 三 对 角 阵 T, 的 最 小 特征 值 的 倒数 近似 
Ai BARA A lr, 的 实 下 估计 .可 基于 此 给 出 终止 淮 
BH. 

jt Hu pe HE Ee A — fh EIC HERO] EL AR E: Reid (1971) RACH 
H BJ. EAEE s P dB C SC EIS] , (E. Tec t f) E HE UE Te H 75 TE LI 
的 关键 . 


10.2.7 收敛 的 性 质 


作为 本 节 的 结尾 ,我 们 考察 一 下 共 轧 梯度 法 产生 的 送 代 点 列 
Lo, RHE. 我们 给 出 两 个 结果 ,它们 者 说 明了 不 管 是 在 低 秩 
扰动 的 意义 下 还 是 在 范 数 的 意义 下 , 当 A Ran FA fur BE BJ, dE Su 
梯 法 非常 有 效 ， 

定理 10.2.5 4e A = E t B X n Fr sd ELEM, BH. 
rank(B)- r, W| 3: 10.2.1 £ £ r+1 FUR. 

证 明 于 空间 spani ro, Argos, A lro! = span] ro, Brott, 
下 ri 的 维 数 不 超过 +1. 既 然 5,270. p, WERA FS, 
且 线性 独立 , 则 迁 代 次 数 不 能 大 于 rv + 1. 


从 这 一 结果 可 得 如 下 重要 的 结论 : g 
。 如 果 A 接近 于 单位 阵 的 秩 r> 校正 , 则 算法 10,2.1 BM k+ 
1 步 后 差不多 就 可 收效 . 


在 下 一 节 中 ,我们 将 说 明 如 何 利 用 此 直观 结果 . 
| #h JE 3X UE 25 SL IAA A S DES A og X A XN. 
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| tU last w Aw . 
定理 10.2.6 HAC A *H HES SCR" Hix, | AR 
法 10.2.1 A ^E aS k IN F1] Luc = x ( À ) 则 


Ë 

| + XR | ASA | + EQ i [=| 

WEAR OL Luenberger(1973,187 9i ). B 

|z, 1 EE E Ez RAR HC XE BE fh TE BJ SE 343 3. 然而 ,定理 
10.2.6 的 一 个 实用 形式 倒 很 有 用 : 

° 3F K(A)~1, NAA PREL TF HR ROGER, 
在 下 -- 节 中 ,我 们 论述 如 何 把 一 个 给 定 的 问题 Ax = b 转换 成 一 相 
关 的 问题 A = b ,其 中 A 接近 于 单位 阵 . 


jj m 


10.2.1  UFHICIO.2.1) PAPA Bee j=; t 3 HÍ rir; =0. 

10.2.2  üEHH(10.2.2). 

10.2.3  uEHH(10.2.3). 

10.2.4  jFEBHCI0.2.12)I(10.2.13). 

10.3.5 £1 (10.2.14) PIMA T, 的 元 素 的 计算 公式 

10.2.6 在 算法 9.3.1 和 10.2.1 实际 运行 中 ,比较 它们 的 计算 量 和 存 
[3:0 

10.2.7 WER FACK EHEER, AA k PSE, M 
HERRER SieiT kt 工 步 就 结束 . 

10.2.8 利用 定理 10.2.6 证 明 : 
y<—1 
vet! 


# ERES SEX 


AE Su £6 HY 1E — ACCU E BRP MRP, ELS eu pE uh Er 6938 
BA fol D defen oup X — Oris WISE E B. xx 27 E HE RE Bi; 
J.E. Dennis Jr. and K. Tumer( 1987). “Generalized Conjugate Directions, " Lin. Aig. and 
Its Applic .88/89,187—209. 


k 
EL WAS ) ls A7. 
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810.3. FRA BESE E ES BETA 


我 们 在 上 - PHS PR, SEERA RERA RIL PA 
Fel SP GE (ELERE , JOSE BS BE TAS FEDES GE AR 47K. Uv — BT OB A 是 单 
位 阵 的 低 秩 扰动 .本 节 中 ,我 们 将 介绍 如 何 预先 处 理 线性 方程 组 ， 
使 其 系数 逢 阵 为 上 述 的 两 种 情况 之 一 . 


10.3.1 推导 


考虑 到 n BORE ERE BA Ac = 5. RARE 

ARE EF TE 3850) SE BS EF: s A SP aR A : 
Azg-=6, (10.3.1) 

K'hA-C!ACO,z-Cc,5 =C 165,C 为 对 称 正定 阵 . 依 照 
10.2.8 节 中 的 结论 ,我们 试图 选择 矩阵 C ,使 得 A 是 良 态 的 或 具 
有 多 重 特征 值 .不 义 将 会 看 出 RE CO 也 必须 要 简单 -- 些 ， 

BI IE SEGA 10.2.1 用 到 (10.,3.1), 则 得 到 : 

k=0 


k-k-l 


else (10.3.2) 
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P= Yr Ia-r t+ iPr- 


这 里 ， Z, AZ HT, D. 是 变换 了 的 玲 标 条 的 残 量 . 即 >, = 
b AZ, MA, Bs 全 的 值 , 则 通过 方程 x=C- lr 可 得 
到 xz 的 值 .然而 利用 定义 p, = Cy. Z, = Cr, K r, = C Un ,就 
可 避免 直接 利用 和 矩阵 CQ 1. 实际 上 ,如 上 类 我 们 把 上 述 定义 用 到 算 


法 (10.3.2) 中 ,并 注意 到 关系 式 6 = C Ib Z = Cr , BJ T 
面 算 法 : 


k =0 
给 定 初始 值 + ( Acorn) 
r= b- Axo 
while C !r,2£0 
k=k+1 (10.3.3) 
if k=1 
Cb i= C lrg 
else 


R=(C ln DCR VC n (na) 
Cp, = C ly, + BCP e- 
end 


a |= (C Ir, DCC Ire Cm (C AC. (Cp) 
Cr, = Cx, -] + a, Cp, 


C Ir -C try- el CTI ACT ) Cp, 


人 


MURR 1 eM Ab eM = C (也 是 正定 的 ), 且 令 x, 为 方程 
Mz, =r, 的 解 , 则 算法 (10.3.3) 可 简写 成 ; 
算法 10.3.1 HRM) RARER AERE A € 
R” b€ 2" A DERE 8) TRAE E AE E M fo 30715 zo As b), 
则 本 著 法 可 求 出 方程 组 Ar:—bodH. 
£=0 
rg=b- Axo 
while (7,0) 
解 方程 Mz, = ry 
kh=k+2 
ifk=1 
Pi zo 
else 
Be =r p-1%e-1/7h-224-2 
Pk Eg T Ppe-l 
end . 
an = rca i PEAP 
Kp Th F OLD. 
re =7,-17 AD, 
end 
+= xk 
关于 这 一 算法 ,应 注意 到 以 下 重要 的 几 点 : 
“可 以 证 明 , 残 芋 和 搜索 方向 满足 : 


riM'r, = 0, 143, (10.3.4) 
bBl(C!AC Op = 0, ij, (10.3.5) 
(AGE rl ;x 2 一 x1 My 不 可 能 为 零 , 因 为 M 是 正定 


8. 
“虽然 变换 阵 C 在 算法 的 导出 上 起 了 很 重要 的 必用 ,但 它 只 
REMAR M — C? 起 作用 . 
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为 了 使 算法 10.3.1 JE AE XE AE LAE M: Pt AR, 线性 方程 组 
Mz = r GREY RB, Hoe E IRE. 
选择 一 个 好 的 巴 处 理 短 阵 对 算法 的 收 钱 速度 产生 很 大 的 影响 . 现 
讨论 几 种 可 能 的 选择 . 


10.3.2 不 完全 Cholesky 预 处 理 阵 


RR BAMA PAHE A 的 不 完全 Cholesky 分 
ft. AEF HP H ,'Ç R.8 WAAKA ea A, H. 
“接近 于 ”Cholesky 因子 G. Fab 8 E A M = HH". Hi 
AEREN, ACTER FBR: 

"存在 惟一 的 对 称 正定 阵 C ETE M = C° 

AAEM 日, 使 得 C= OH', Fp HT £ € €; QR 分解 的 上 


三 角 因 子 . 
由 此 可 知 : 
A= CAC? = C TAC! = (HQ) 'A(QRT)"! 
= Q(H !GG!H 09! =]. (10.3.6) 


At, H iir G 越 好 , A 的 条 件数 越 小 ,算法 10.3.1 运行 效果 就 
更 好 . 
如 何 找到 这 样 的 在 ，- 种 简单 而 又 有 效 的 方法 是 在 Cholesby 
分 解 中 , 若 aj =0, > h; = 0,34) Cholesby 分 解 采用 外 积 形式 ,上 
述 方 法 可 如 下 实现 
for £=1:n 
A(k,k)= vV ACE, &) 
for; = Ë F 1:s 
if Ati, 2)40 (10.3.7) 
Ali,kR)=ACi,k)/ACK,R) 
end 
end 
for j= k t 1:n 
for :— 5:5 
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if ACi,;) 0 
ACi,pJ=AG.F)-AG,RIAG,2) 
end 
end 
end 
end 
在 实际 计算 中 ,矩阵 A 和 它 的 不 完全 Cholesby 因子 H a 
存储 在 一 个 合适 的 数据 结构 中 ,上 述 算法 中 的 循环 将 呈现 特殊 的 
形式 . 
不 幸 的 是 ,(10.3.7)? 并 不 总 是 稳定 的 . Manteuffel (1979) 38 tH 
了 不 完全 Cholesky 分 解 稳 定 的 正定 阵 的 类 型 ,也 可 贿 见 Elmem 
(1986). 


10.3.3 不 完全 的 分 块 预 处 理 和 矩阵 


和 本 书 中 所 有 其 他 的 方法 一 样 , 上 :小节 中 不 完全 分 解 的 思 
AU tB. Ep Bt 2 DE A. 我们 以 对 称 正 定 的 分 块 王 对 角 阵 为 例 来 说 
Bj ix — xi : 
A, ET 0 
FE, A; El). 
O E. Az; 
为 了 说 明 问题 ,我 们 假设 A; 是 三 对 角 的 ,五 AMAR. 二 维 区 域 
上 的 自 伴 粮 图 曹 偏 微分 方程 用 标准 的 五 点 格式 离散 化 以 后 得 到 的 
就 是 这 种 结构 的 矩阵 . 

3x3 的 块 是 很 普遍 的 .我们 的 讨论 基于 Concus, Golub 和 


Meurant (1985). & 
G 0 0 
5c T 
0 F, G 


AA 的 Cholesky 因子 的 分 块 形式 .虽然 G 作为 分 块 矩阵 在 整体 
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A = 


G = 


上 是 稀 蕊 的 ,但 除 G, Sb} BER RET aT DA RP 
看 出 : 
G; Gi- B, == Ay 


F = EG! 
G;Gl- B= A; - FiF] = A; — E,B,! Ej, 
F;- E;G;!, 


GG} = B; = A; — F;Fi = A,- E;B;!EI. 
P3 UE , 32 4119 d EAL Cholesky 因子 ,其 形式 为 


G 0 0 
G = pi G, Ü 
ü F. Gul 


Mm RRRA B REREN M = GG! 的 方程 组 .这 
里 利用 到 了 G PE ARTE. 当 A, ERE E, 为 对 第 阵 时 ， 
有 下 面 一 条 合理 的 途径 : 

GIGI= B,2= Ai, 


F,-EQG;, 
G.,Gi- B= A. — FA, El, A (THD == B,', 
F ,= E.G; ! 


GGl = B= A,— EAEL, A (ZH) == Bs. 
注意 ,所 有 的 B; 者 是 二 对 角 的 .显然 ,必须 小 心地 选择 A, ,使 得 
B, 也 是 对 称 正 定 的 .由 此 可 得 G, 为 下 双 对 角 阵 . F. Ri HB 
不 需要 显 式 地 计算 出 它 的 元 素 . 比如 ,在 解 方 程 组 Mz = r 的 过 程 
中 ,我 们 必须 解 如 下 方程 : 


iG, 0 0 [en "i 
F, G, 0 i = |ro|. 
0 F: G| wa rai 


在 计算 涉及 到 关于 F, 的 年 阵 向 量 乘 积 时 ,可 用 向 前 消去 法 ， 
Gwi- a 
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PP 


G w= ro- F yw, = ro - E G r w, 
G3w3= ry- Fu = r3- EG wz. 
为 了 保证 B, 的 正定 性 ,4; 的 选取 是 比较 精细 的 . 和 我 们 所 组 织 
的 计算 一 样 ,中 心 问题 是 如 何 用 一 个 对 称 的 二 对 角 阵 A HEE n 
阶 的 对 称 正定 的 三 对 角 阵 下 = (T; BUE. xx HO JL SR 2 EE BJ XE 
f$: 
© & A —dag(1/24.0/Z]5.77,lZ t) 
(RAAT 的 三 对 角 部 分 ,这 可 以 很 有 效 地 计算 出 来 , 因 
AR u,veR” RAT ! 的 下 三 角 部 分 正好 是 uo! 的 下 
三 角 部 分 . 见 Asplund(1959). 
4 A-UIU,U A G HG F 3 RAD AE GAT $6 
Cholesky AF, FP T= GG. ik sJ OCm)* flop 来 
完成 . 
要 讨论 这 些 近 和 册 抢 阵 及 相应 的 预 处 理 扎 阵 之 性 质 , 可 参 出 
Concus, Golub 和 Meurant( 1985) . 


10.3.4 区 域 分 解 思 想 


椭 琐 型 侗 微分 方程 的 数值 求解 在 未 知 数 适 当 排 序 时 往往 导致 

如 下 方程 组 : 
A, " By 
A» B; 


Xi ay 


Ea di 


(10.3.8) 


A, B, id d, 
t Bi c B; Q f 
W, Meurant( 1984) .这 里 A, 是 对 称 正定 的 , B; Te Rü LB ea — 
决 列 的 列 数 比 其 他 的 要 少 得 多 . 

一 个 p=2 的 例子 可 说 明 (10.3.8) 以 及 它 的 分 块 结构 与 原 问 
题 几何 区 域 以 及 其 分 解 之 间 的 联系 ,假设 在 下 面 的 区 域 上 解 Pois- 
son 方程 : 


= 
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ee rr ps 


+++++++++ 
十 十 二 十 十 十 二 二 十 
+++++++++ 
+++++++++ 
十 秆 十 二 十 十 十 和 二 十 
+++++++++ 


+++++++++ 
E * Gk 市 HS oh k mo 
X X KX K X K X K K X ZX X X X X XX TX TX 
X X XXX 7XxX X X XK XX XXX XXX X X X 
X X X XX XXKX7X7X TX 7X7TX XX X X X 其 
X XXE XX KXX72 X 0 IX X X 3 XK XX 
X X X X X X XX 7 XX 75 K XX 71 7XF X 其 


有 几 通 带 的 方法 离散 ， CT RAE AR EURO Et EL 5" Ze ga pti db" 
MAAK REA CRUE. KAA FE (BJ fI 
CFB 2, AMARA TAa BEATE F Ií BJ T X 
域 (于 向 量 zx2, 相 应 的 网 格 点 为 “x"), 还 有 -- 类 是 这 两 类 于 区 城 
的 交界 处 (组 成 向 量 ,相应 的 网 格 点 为 "“*“"). 注意 ,一 个 子 区 域 
的 内 部 变量 与 男 一 子 区 域 的 内 部 变量 无 关 , 这 说 明了 (10.3.8) 中 
为 什么 会 出 现 零 块 ,同样 可 以 观察 到 ,边界 上 的 未 知 量 的 个 铬 比 整 
个 未 郑 量 的 数目 要 少 得 多 . 

现在 ,我 们 来 探索 一 下 (10.3.8) 的 预 处 理 情况 .为 简单 起 岂 ， 
就 p=2 的 情形 讨论 . 令 


Mi! 0 o | |^ ; 0 
"n M;! L', 其 PL=10 M; 
0 0 S | lat Bi s 
则 
M, 0 B. 
M= | Ü M; B|. (10.3.9) 
Bi Bi S. 


这 里 S,—-S- BIM; B, + BIM B,. Bi p n nl FER E 3 
MiM: A S ,使 得 产生 一 个 有 效 的 预 处 理 年 阵 . 
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如 果 把 (10.3.9) 各 {10.3.8) 在 p=2 时 的 情形 相 比 ,我 们 可 
以 着 出 ,应 该 用 M, GUE A,, S. Mir 吕 . 苦 令 SO 一 BIMi Bi 
-BIM;!1B2, 则 后 一 点 可 以 办 氏 . 选 到 5 有 好 几 种 途径 ,但 者 要 
注意 这 样 一 个 事实 :不 能 有 稠密 的 矩阵 BM, BI 产生 ,例如 ,在 
上 一 - 节 讨 论 过 ,可 用 M. ATHAU, IL Meurant( 1989). 

如 果子 区 域 足 够 规则 且 解 只 与 A, 有 美的 方程 是 可 行 的 话 
《如 用 快速 Poisson 解法 ) , 则 可 令 M, =A; Mif]; M = A + E, E h 
rank(E)- m,m HR ERATOR. 因此 从 理论 上 讲 , 经 过 
mt 124bPUE TRAE ERE Sg PR BE HE ACA. 

不 考虑 算法 过 程 中 必须 进行 的 帝 近 ,我 们 有 很 好 用 并 行 计算 
的 机 会 ,因为 了 区 域 的 问题 是 不 相关 的 .实际 上 , 子 区 域 的 个 数 p 
通常 与 问题 的 几何 特性 以 及 可 用 来 计算 的 处 理 器 数 月 有 关 . 


10.3.5 ”多项式 预 处 理 矩 阵 


mE M 组 成 的 方程 组 Mx = 7 的 解 所 定义 的 风量 z 
HAYE A =r 的 一 近似 解 ,因为 M RA 的 :个 近似 .获得 这 
个 近似 解 的 -种 方法 是 用 公式 Mix UTD = Nye tr, — 0 jË 
HR pz. 

MK G=M,'N, n 

z = zt) = (I + G++ GP) Mytr. 
于 是 ,如果 M l!=(I+G+-- + GPM! M| Mz = RA 
WAM 是 一 预 条 件 子 . 当然 ,很 重要 的 是 M 应 当 是 对 称 正 定 的 ， 
这 限制 了 MN, A p 的 选取 .因为 MEG HSM. REA 
多 项 式 预 条 件 子 .这 类 预 条 件 子 从 向 量 / 并 行 的 观点 看 有 吸引 力 . 
因而 引起 了 广泛 的 重视 . 


10.3.6 另 一 个 观点 


多 项 式 预 条 件 子 的 讨论 指出 了 经 典 选 代 法 与 预 条 件 共 罗 梯 度 
法 的 一 个 重要 关系 .很 多 选 代 法 具有 形式 : 
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Z; = Teen + we Meee 1 + £e- — 44-2). (10.3.10) 
其 中 Mz, -,=r,-,76-Ax,-,. MIM, RNS so, 1 A y, — L, 0 
z, = M Hb — Arg.) + xa. 
Bl Mz, = Nz, - (T b OR A= M-N. FEE, Jacobi, Gauss-Seidel, 
SOR,SSOR 等 方法 都 具有 形式 (10.3.10)., Chebyshev FRH A 
(10.1.12) 也 是 如 此 . 
fe ja Concus, Golub 和 O'Leary ( 1976), PT EAR] HI Æ 3l 
(10.3. 100 I] E E OE HERE 10.3.1: 
prb-i;—70.r9—3ÉIR—O:ry— b- Ar. 
while r | > Ü 
=Ë 11 
RE Mz, a7 ry aff xoi 


LoT T 
Ye 17 z&-i1Mz, a" ER 142-1 


if k=1 
wey = 1 
else 
Ye-1 z4-1Mzş-ı 1 d 
we=[E oy zT Mg o w, (10.3.11). 
end 


Xj Ea yt wel Yamp-i + Le-1 — X&-2) 
r= Ü — Ax, 
end 
+ = T, 
因此 ,可 以 把 (10.3.11) 中 的 数 <o, 和 x BE DE IE fü Mr = 
Nz 1+ b CR ms S A. TA EE ER A = M - N XE 
Wilt ER ARE AB n] AY Hp EG ee HOM (fi ah BE 3 2 
对 称 正定 的 . 


BJ 题 


10.3.1 详细 讨论 基于 gaxpy 的 Cholesky( HIRE 4.2. 1) MAE 
. 626 ， 


解 算法 . 
10.3.2 ”在 算法 10.3.1 的 实际 运行 中 ,需要 包 少 个 n lol ER EE 54 
BL? 可 忽略 解 方程 Mz = r 所 需 J. 作 空间 . 
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$10.4 其 他 Krylov 子 空间 方法 


前 两 节 介 绍 的 共 印 梯度 法 适用 于 对 称 正 征 方 程 组 .9.3.2 节 
中 对 称 Lanczos 方法 的 变化 形式 MINRES 和 SYMMLQ 方法 能 处 
理 对 称 非 正定 问题 .为 了 得 到 可 适用 于 非 对 称 问题 的 迭代 法 ,我 们 
还 要 作 进 一 步 的 推 1”. 

这 里 我 们 仿效 Freund, Golub 和 Nachtigal 的 综述 文章 及 


Golub 与 Ortega(1993) 第 刻章 来 进行 论述 .重点 是 涉及 到 Krylov 
fala] FK FE s Fe Be EB HE RII IS. 

应 该 记 住 的 是 ,我 们 的 算法 描述 和 软件 产品 之 问 有 很 大 差距 . 
关于 这 一 点 .Rare 等 人 {1993) 的 “模板 ” 书 作 了 很 好 的 描述 . 
Saad 《1996) 的 车 作 也 是 很 值得 推荐 的 . 


10.4.1 法 方程 方法 


解 最 小 二 乘 问题 的 法 方程 方法 是 很 有 吸引 力 的 ,因为 它 可 以 
利用 简单 的 Cholesky 分 解 技 与 而 无 顷 复 汞 的 正 交 化 方法 . 同样 ， 
对 非 对 称 问 题 Ar = 6, ACA i dete HE fe = tr 的 对 称 正 定 方 
程 

AlAr = A! 
也 征 有 诱惑 力 的 .实际 上 ,如 果 在 算法 10.2.1 中 用 ATA 代替 A, 
并 注意 到 法 方程 中 的 残 量 ATA- ATA, 是 真实 残 量 b - Ax, 的 
AT 人 悦 , 我 们 就 可 得 到 下 ped) FE BUR it FERE RE (OGNR): 
算法 10.4.1fCGNR] BHM A C 4EREAELO C S". ro 
ks ”为 一 初始 值 , 则 本 算法 可 计算 出 方程 Ar = b SEHE U^. 
&-ü 
ro b Aty 
while 7,0 
b-hkul 
if £=t 
bi = Al, 
else 
B= (AT CATH DAATH MATH 3) 
pr= A ina + Bia 
end 
aj m (AT Tr, ATR.) AAD, ) CAP) 
T£ Te 1 + oP 
天 二 天 1 GAD. 
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end 


r= T 
2 :种 使 非 对 称 问题 Ar = p ESE PS PE AT E SX E g qi F 3 


RB. 
AATy = b, 2 = Aly. 
fr" y 空间 "中 JES BB FEF A ag a FER: 


k=) 
加 三 初始 值 (AA yo) 
rp = b — AAT» 
while( r, 750) 
k—k!1 
if & = 
Pi” ro 
else 


Bk 7 ri-ira-irk-2fa-2 
Pa rà it BPe 1 
end 
as 7 rk - ark - AI PRAA" fy 
Me T Ve-1 t aue 
TT rg 7 aAA' pe 
end 
y 3 
ERER A vo. 4 太一 让 ,再 作 简 化 则 得 到 法 方程 误差 
It BR EI , fa) BR CGNE. 
算法 10.4.2[CGNE] BHR A C EAE AHL D € I" rg 
€ R^ Ai WE, E Eki E Ar= Om eR": 
& =Ü 
Fo = b — Arg 
while( +, Z0) 
` 633 - 


—nn a. JR warrrrrrussm ars denied | 


k-ktl 
if &—1 
pic Ara 
else 
B, = ri Ire Ir 27k 2 
pc À Inr. 1+ Pps.1 
end 
ay =r} ire- DEDI 
Tp = Hy -1 tk 
r= ry app, 
end 
E= ZT 
-RA SRE, xx PAS 7; Fë Jy E BJ BRE 4E F EY RE 
原 矩 阵 的 平方 ,( 回 忆 -FE 10.2.6)., 然 而 ,也 有 些 情 况 他 们 是 
很 有 效 的 .这 方面 的 论述 可 网 Freund, Golub 和 Nachtigal( 1991). 


10.4.2. 目标 函数 的 注 记 f 
FEF RA] He F JE Wu E E BAI, CGNR 选 代 所 产生 的 >, 
fB 48 pU 
ó (z) = 2 T (ATA)= — rl Als 
在 集合 
SIER) — rot K(ATA rg, E) 
上 达到 极 小 .容易 证 明 


I 1 
> l^ — Ax || 3 = % (=>) 4 55b, 


所 以 xz, 使 得 残 量 在 SOO!) 上 达到 极 小 “COGNR? 中 的 R 表示 对 
FE E (residual) 是 最 优 的 . 
另 一 方面 CGNE( BAS IRR ALY y, 使 函数 


ply) — L TAA Dy yb 
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在 集合 yo + K(AA',b - AA yg, Ë ) F 35 MRA. PEE we 18 
t= A1y,nf uE8j] XR 使 得 
yale - x'A 'b = ; |r - Alb |l5+ i | Ans 15 

在 集合 

SIONE) = ro + K(A'A,A' rp, E) (10.4.1) 
上 达到 最 小 .因此 在 CGNE 方法 中 ,每 一 步 都 使 误差 达到 极 小 ,这 
就 是 "CGNE” 中 “下 "的 含义 ， 
10.4.3 HRB 


我 们 记得 , 当 A FEST RE ZE BEBE, CA- -对 称 止 定 的 平方 根 
41I2( 见 4.2.10 35). EXP AB Ar — b MAM x = 
A 15 相互 等 价 .前 者 是 后 者 的 法 方程 形式 .如 果 我 们 对 这 个 平 
方 根 方程 用 CGNR 方法 ,并 对 结果 作 一 下 简化 , 则 得 如 下 算法 ; 

算法 10.2.3| 36 90 55 8E TE] wE n MRA HALE, OC 
E", xg € I" APM Ary 5), W XD) Ac = b 6588. 

k-0 

ra = b — Arg 

while r; > 0 

=k+1 


else 
B= rk-yArg-1/rp-2Ary-2 
Ap, = Arg (+ BAD, 
end 
ap = rp Arp- Ap) (Ape? 
X Tal Gi, 
rk = rg-1 — GAD, 
end 
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=F, 
从 对 OGNR 方法 的 评价 中 可 得 ,在 第 上 AG, | A 1205 Ax) |e 
在 集合 zo + KCA, rq | b) EXSSIBRE IIS. 


10.4.4 GMRES 方法 


Tk 9.3.2 Fb, H XIA PSE E 4E ILE. Ar = ,我 们 简要 讨论 
了 基于 Lanczos 的 MINRES J3. ER EP, b Jb SAX LER x, 
使 得 上 5 一 Ax ||, 在 集合 

S, = xo 4 spani ro Arg AF Irol = xo t KLA, ro) 
(10.4.2) 

上 达到 极 小 .算法 的 关键 思想 是 ,用 Lanczos 向 量 91,92, qe X 
ER a. Mig, BWR ry = b — Aro ARRE, girts g 可 生 
WK (A,ro, Ë). 

在 Saad 和 Schultz( 1986) 提 出 的 广义 最 小 残 量 (GMRES) 方法 
中 ,采用 了 同一 途径 ,不 同 之 处 在 于 选 代 点 用 Arnold; [9j Bt ARE 
Lanczos 向 量 来 表示 .其 日 的 是 为 了 能 处 理 非 对 称 和 矩阵 A. Arnoldi 
进 代 (9.4.1) 经 过 到 步 以 后 ,得 到 如 下 分 解 : 


AQ, = Qin H}, (10.4.3) 
其 中 Q, . =[O, go 1 的 烈 是 正 交 单位 的 Arnoldi j & , 
hu Aq ... bu | 
ha h> : |] 
Ñ, = "ue "s : € gx 
hy sio Bau 
| Ü w 


H t Hessenberg EE. 在 GMRES 方法 的 第 上 步 , 在 约束 条 件 ry 
= eot Quy (yy ERZ F, | b Ar llo RAB. A ai = ro^ 
fo: P07 | ro l| , 则 得 到: 
Jó - ACzo + Qk) l = | ro— AQ; Il 2 
= | ro 一 Qua Hay, ll 2 
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= d poti 7 Hy | 2: - 
因此 ,六 是 一 个 (k++ 1) x 阶 的 最 小 二 乘 问题 的 解 ,GMRES 的 选 
AURA xz, = xo + Quy. 
算法 10.4.4[GMRES] 和 如果 ACR "aR AHFC 2" xr € 
T 为 初始 向 量 (4znssa), 则 本 算法 计算 出 Ard 的 解 : 


ro b — Ax 
hio= ll ralla 
kË =Ü 


while( Az 41,5 0) 
Gk-]1— Fg/hy 4,4 
k=k+1 


end 
hg. = | Th | 2 
xy = zo T Qing KP || hive: 7 Ase || >= min 
end 
== TE 
容易 证 明 | b 一 Az, ilo = hes... 上 Hessenberg 阵 的 最 小 二 问题 
能 用 Givens 旋转 有 效 求 解 ,在 实际 计算 中 ,只 有 当 残 量 达 到 我 们 
所 和 希望 的 范围 时 , 才 和 需要 形成 r. 
“无 界 的 GMRES 的 主要 问题 是 :在 第 有 HERP, OC kn) 
个 flop. 因此 ,与 Arnoldi Zr1& — FF ,一 个 实际 的 GMRES 方法 运行 
起 来 需要 采用 重 开 始 技巧 ,以 避免 过 多 的 计算 董 和 存储 基 . 例如 ， 
若 最 多 可 容许 计算 m 步 , 则 x, 可 作为 下 一 个 GMRES 序列 的 初 
ba e E. 
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预 条 件 是 使 GMRES 方法 有 效 的 另 一 关键 因素 .与 $10.3 中 
BR) Hr cb E Hip Fe Br 225 3S (01, e (1118 8] — dE dg SEE EE M = M M, 
CASH EX PEM A. 然后 对 方程 A = 6 JH GMRES 
Ww A —M;!AM; b = MI 10, Z = Mzz. 如果 我 们 对 
这 个 波浪 方程 写 出 相应 的 GMRES 选 代 算法 ,并 整理 方程 使 得 只 
存储 原始 的 变 基 . 则 所 得 到 的 迭代 中 需要 解 预 条 件 子 为 M 的 线 
性 方程 组 .所 以 ,寻找 一 个 好 的 预 处 理 矩 阵 M = MM 就 是 在 以 
M 为 系数 阵 的 方程 容易 求解 的 前 提 下 ,使 得 A = MI AM; 尽 
量 " 象 "单位 阵 . 
10.4.6 RHR RE 


就 像 Arnoldi 方法 推广 出 GMRES 方法 一 样 , 非 对 称 的 Lanc- 
zos 算法 可 推广 为 双 共 四 梯度 法 (BiCG). BiCG I Hi ACA AT GB W 2! 
9.3.1 节 中 由 Lanczos 算法 导出 共 罗 梯度 法 . 利用 Lanczos 向 量 
3k Jg pb EMER RT BAA z; = xo T Om, HO, 为 
Lanczos [8 E PE, T, = QAQ, 为 三 对 角 阵 , y 为 方程 Ty, = 
Qiro 的 解 ,注意 关系 式 : 

Qi(5- Ax) = Aj(ro — AQ.) = 0. 
所 以 ,我 们 可 以 通过 要 求 zx 为 集合 za t+ KCA ry AWK, 
及 它 产生 一 个 与 子 空间 K(A, ro k) EMER BEA r. 

在 矩阵 为 非 对 称 的 情形 中 ,我们 可 以 推广 这 一 想法 :产生 序列 
| zl ,zi 人 Er0+ K(A,ro,k) HEERE- K CAT 59,2 IER, so 
为 RR” 中 某 个 向 量 .和 如果 用 非 对 称 Lanczos 方法 来 产生 两 个 Krylov 
子 空间 的 基底 , 则 算法 可 得 到 简化 ,特别 地 , 非 对 称 Lanczos 算法 
9.4.7 经 过 不 步 以 后 ,得 到 Q. P, C "^", PlQ, = L, 和 三 对 角 阵 
T, = PAQ ,满足 关系 式 : 

AQ, = Q,T, + rei, Pir, = 0; 
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ATP, = PTI 4 sel, Qls, = 0. (10.4.4) 
在 HiCG 1,4 z, = zo Qu UP T! = Qaya, HEE, Galerkin 
条 件 PI(b- Ar,)= PI(ro- AQ, =O RY. 
像 所 期 望 的 那样 ,可 以 找 出 从 oy FO gp TRE z, ALIAS 
公式 ,而 不 是 用 前 面 所 有 的 9 向 量 的 线性 组 合 . 
BiCG 方法 受到 “严重 失 收 "的 制约 ,因为 它 依 赖 于 非 对 称 
Lanczos 方法 .然而 ,采用 向 前 看 的 Lanczos 方法 ,有 可 能 克服 这 方 
面 的 -- 些 困难 ， 


10.4.7 QMR 方法 


从 非 对 称 Lanczos 方法 导出 的 另 一 种 达 代 法 是 Freund 和 
Nachtigal (1991) 提 出 的 拟 最 小 残 量 法 (QMR) .和 BICG 一 样 , 第 大 
步 选 代 同 样 具 有 形式 x, = z + Quy. BIE9 4.7) k HA 
分 解 : 

AQ, = Q, T. 
其 中 和 ERt+Dx 是 三 对 角 的 .由 此 可 知 , 若 qi= o(b- Azo), 
则 有 
b — Ax,7 b — A(xg + Qi) = ro — AQ 
= rg — Qiu T y, = Quali 一 T eve) 

如 果 选 择 y, 使 得 这 个 向 量 的 外 ' 1. 范 数 最 小 , 则 在 精确 运算 下 ， 
aot Quy, 正好 是 GMRES 所 产生 的 点 .在 QMR 中 , 令 y 使 得 
i pe, 一 T | 最小. 


10.4.8 总 结 


我 们 所 介绍 的 方法 并 没有 绝对 的 好 坏 之 分 .方法 的 选择 是 复 
杂 的 , 它 依赖 于 很 多 因素 . Barrett 等 人 {1993) 对 主要 的 方法 给 出 
了 特别 有 说 服 力 的 评价 . 

习 a 


10.4.1  2EARUT (10.2.15), S i£. CGNR 算法 CGNE BREAKERS 
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法 的 有 效 运行 方式 . 
10.4.2 ”建立 CONR 算法 与 9.3.4 节 中 概括 的 LSQR 算法 的 数学 等 价 
10.4.3 WEA (16.4.3) 
10.4.4 SB TRAEEE GMRE Be £a fT aR. SPA S 10.3 rP HiAk 
JR Hc hi B6 BE 00 b Eo. CERE TEE C 10.3.2) 0 (10.3.32). 
10.4.5 TERR GMRES Behl sein STER. 
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第 十 一 章 和 矩阵 函数 


811.1. 特征 值 方法 
811.2. E 
§11.3 和 矩阵 指数 


在 控制 论 和 其 他 应 用 领域 ,经 常 出 现 自 变 量 为 一 方 阵 4 TER 
数 乒 4) 的 计算 问题 .一 般 的 说 来 ,如 果 F(z) 是 定义 在 A(A4) 上 的 
SUE PAR WE F(x) 的 表达 式 中 以 和 4 代替 <, 得 到 F(A), Bd, 
A f(z=)=(l1+<x)/(1-—z),B 1 CACA),W| FCA)=(T+A)I- 
A) |. 

4 f ARR, Fa) 的 计算 是 特别 在 兴趣 的 .在 这 种 更 
为 复杂 的 情形 中 ,一 种 方法 是 计算 A 的 特征 值 分 解 A = YBY 1， 
并 利用 公式 fCA)- Y/(B)Y LE B 比较 简单 , 则 f(B) 容 易 直 
接 计 算 . 在 $11.1 中 ,利用 Jordan 分 解 与 Schur 分 解 阅 明了 这 一 
点 .利用 后 一 种 分 解 ,计算 六 4) 的 算法 更 稳定 ,这 是 不 足 为 奇 的 . 

处 理 算 阵 明 数 的 另 一 类 方法 是 用 一 个 容易 计算 的 函数 (A) 
来 逼近 FCA). Am, z 可 以 是 了 了 的 Taylor 展开 式 的 前 若干 项 . 
$ 11.2 Bi T 3x JE X I BLES UR ERE. 

最 后 一 节 , lite T-TREE CE IS i AE 
阵 指数 e^. 


预备 知识 
本 意 假 定 已 了 解 了 第 -一 、 二 ,三 ,七 和 作 章 的 知识 .本 章 各 节 的 
XP: 
811.1 —— 811.2— Š 11.3 
补充 的 参考 文献 有 : Mirsky (1955) , Gantmacher ( 1959) , Bellman 
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(1969) Horn 与 Johnson( 1991) 对 本 章 非 常 重要 的 Matlab PARK 
有 :expm,expml ,expm2,empm3, logm , sqrtm 和 funm. 


$11.1 特征 值 方法 


给 定 一 u 阶 阵 4 和 一 标量 函数 f(z), AALA ik sE 3 58 
BE f(A). -种 很 下 正式 的 定义 是 在 f(z) 的 表达 式 中 用 A RY 
= .例如 ,着 p()oiee AreGO-(1-3) (1+4 e 272,30 


EREE p(A)WI r(A)OF: 


p(A)=I+A 
和 


r(A) = (1-4) (r+ $) 2 €ACA). 
用 A RÈ ,也 可 用 于 超越 函数 ,如 


A 1 AŻ 

ge = a BU 
然而 ,为 了 使 以 后 的 算法 更 精确 ,我 们 需要 F(A& ) 的 更 精确 的 定 
X. 
11.1.1 一 个 定义 


有 许多 种 方法 来 严格 地 建立 害 阵 函数 的 概念 ， W, Rinehart 
(1955). 最 完美 的 方法 也许 是 利用 线 积分 .假设 fC 2 )3E— i Hl 
2E Tr RAREN, A DEBIT ACA) IDE X. fA) 如 下 : 


KA) = 36. f(z)XzI — A) !dz. (11.1.1) 
显然 ,这 一 定义 是 Cauchy 积分 定理 的 矩阵 形式 .上面 的 积分 是 一 
个 元 素 一 个 元 素 定义 的 ; 

FLA) = Cf) fy = 359 f(a) — A) edz. 


TE EEC- A) CRED LB HA ER F(z)dE 
从 4) 的 一 个 临 域内 解析 , FCA ) 就 有 定义 . 
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i i rg a aad 


11.1.2 Jordan 特征 


ge LO.1. DA AA fei ERI LAA K (BE Ae SH CA) 
更 多 的 实际 特性 .例如 , 若 扩 4) 有 定义, 且 

A = XBX = X diag(B,,-",B,)X"', B; € C^ 
则 易 证 

F(A) = Xf(B)X ! = X diag( f(B) o FCB) )X ¢. 

(11.1.2) 

当 B, Àj Jordan RMN , FRAT 983 43 80 FRR. 

定理 11.1.1 3€ X !AX = diag( Jj,J2,7,J,)79 AC C77 
的 Jordan 45:28 78 (JCF) ,其 中 


为 m; Wr Jordan 块 .如 果 F(z) 在 包含 AAA) 的 一 个 开 集 上 解析 , BJ 
f(A) 7 X diag fF) FCS, XP 


m —1) 
fa) fa -- rO 


f(A) 一 f(Ai) 
PPA) 
fA) 
证 明 根据 定理 之 前 的 叙述 ,只 要 观察 ((G)HBARET, 
Kp G=art E(E = (6;,;-i))28 q Bt Jordan 块 .假设 (zxI 一 G) 非 


奇 .因为 
(d - Gy)! s S — E 


rr ( z _ AY 
由 Cauchy #14} E XE n] A 
a 546 . 


f(G)= 2; > [aad ce id le 
_ s Ope 


注意 到 Et — (ó; ,- ,) 即 知 定理 成 立 口 

推论 11.1.2 如果 AC C""7, A = Xdiag(2,,*7,2,) X 1, 
以 及 FAJA XL, 

FCA) = Xdiag( f(A), fA, )) xX! 

证 明 所 有 的 约 当 块 者 是 1 乘 1 的 。 [] 

这 些 结 果 表 明了 FADS A 的 特征 系统 之 间 的 紧密 联系 .不 
从 的 是 ,除非 A 能 被 一 个 良 态 的 特征 向 量 矩 阵 对 角 化 ,用 Tordan 
标准 型 处 理 矩 阵 函 数 在 计算 上 是 不 可 擎 的 .事实 上 ,因为 必须 解 系 
数 阵 为 X 的 线性 方程 组 , 量 级 为 uk; CX OL AC IECUR TTE £s 
果 是 预料 之 中 的 .下 面 的 例子 说 明 计 算 些 阵 杯 数 对 应 避免 坏 条 件 
的 相似 变换 . 

例 11.1.1 wk 

1 + 10 ` 1 

A= | 1 1 一 os! 
Bh 4£— Mr hk vey EF AR 


lo Q5 
= lọ (21-105) 
的 列 加 权 , 故 其 2 范 数 条 件数 量 级 为 105. 利 用 机 器 精度 为 u~ 
10 -的 计算 机 运算 ,我 们 有 
pix gh [n aum 
而 
a [2718307 20750000 
C ~ 10.000000 2.718254. 
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11.1.3 利用 Shur 分 解 的 方法 


利用 Shur 分 解 处 理 矩 阵 请 数 可 避免 用 约 当 型 所 带 来 的 一 

困难 . 如果 A = QOTO" 是 A 的 Shur 分 解 , 则 
f(A) = QfCT)QP 

为 了 使 其 有 效 , 我 们 需要 一 个 计算 上 三 角 阵 函 数 的 算法 ,不幸 , 正 
如 以 下 定理 所 示 , FT) 的 显 式 表达 是 非常 复杂 的 . 

定理 11.1.3 iE T — (4, ) n X n LAA, 383848 À, = 
L B F(T) 有 定义 .如 果 FUT) — Cf), 8 3 15 W f; = 0, Š 
i=j ffA) MEH i<j 时， 

fig = Eos psy ts sf LÀ n 


(ge S, 
其 中 S; 为 所 有 以 开头 ， 以 j P oh Ath LINEN A TLIO k 
& flags as] 是 了 在 AES k PEE RI 
E BH R Descloux(1963) , Davis( 1973) fi Van Loan( 1975) . 
Li 
用 定理 11.1.3 31. f(T) 需 O(2”) 个 flop. H S AY, Parlett 
(1974) 导 出 了 一 个 计算 矩阵 F = f( T ) P E = ffi BB Y 8056 X IH 
RAR, CME 2274 个 flop, MAA AMT A 3 48252 
FT = TF (11.1.3) 
导出 .事实 上 ,比较 此 方程 两 边 的 i,ji FURAN: 


i j 
2 fatu = Mas jd 
= Ë —: 


Ej Jt E ty tj H 
-1 E 
fi = ty uH f. + >) Aa 一 "d (11.1.4) 
P H 


kil 


从 此 可 知 , 记 是 它 在 矩阵 F 中 ,左边 和 下 边 的 邻近 元 素 的 线性 组 
合 .例如 ,元 素 fos RMF f. fos. fess fess fas, fas EL (B. 因此 ,下 
的 整个 上 三 角 部 分 都 可 以 算出 .从 对 角 元 f(z211) ts Gm) N, 
每 一 次 能 计算 出 上 一 条 对 角 线 ,整个 算法 如 下 . 


n-— niku. 
| 


算法 11.1.1 本 算法 计算 出 矩阵 函数 FAT) APTA 
上 三 角 阵 且 特 征 值 互 不 相同 .在 4( 了 ) 上 有 定义 . 
for :-—1:» 
faf) 
end 
for p-—1:z-1 
for ;:—-1:n-p 
J-itp 
s= t (U; - f) 
for 2£=it+1:;-1 
s= S T the T fats 
end 
fy Ts ty ty) 
end 
end 
KARERE 2n? /3 个 flop. ut T = QAO" E: A FY Schur 分 解 , 则 
f(A)= QFQP, | P= f(T). BR, TR. f(A4 ) 的 大 多 数 工 作 量 
都 花 在 Schur 分 解 上 ,除非 函数 F 的 计算 代价 极其 昂贵 . 


例 11.1.2 4X 
1 2 3 
rg 3 ii 
0 5 


f(z)-7 (1^ z)/z Hj F-(fj;)—f( T) SUIT: 
fy =O+1)/1=2, 
fo = (1+3)/3=4/3, 
fa (1 +5)/5=6/5, 
fao tof — fug - £4) = - 243, 
Fog = 37 fog — tx) = = 4/15, 
fis 7 Leis fas 7 far) + Cty fos ata) a £07 一 1715. 
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11.1.4 H Schur HAE 


MRR A 有 邻近 的 重 特征 值 , 则 算法 10.1.1 KERE. E 
此 情形 下 ,可 推荐 用 算法 11.1.1 的 分 块 形式 .我 们 大 致 介绍 一 下 
归功 于 Parlett《1974a) 的 这 样 一 个 算法 ,第 一 步 是 在 Schur 分 解 
中 ,选择 一 个 恰当 的 如 ,使 得 A 的 相近 或 相同 的 特征 值 集 中 在 了 
的 对 角 块 Tu,…; 了 ,sp 中 .确切 地 ,我 们 必须 要 计算 一 种 分 划 ; 


Ti, To ^ Ty Pu Fi c^ Fip 
T =.. T F mua F 

T — > . 2p F = T . 2 , 
T» F pp 


Eh ACT)OA CO = 85,626; F 7.6 中 的 方法 可 以 决定 块 的 
大 小 . 

于 一 步 是 计算 子 官 阵 F; = f( T;),2=1:p. BER T; 的 特征 值 
很 接近 ,这 些 f(z,) 的 计算 需要 特殊 的 方法 (在 以 下 两 节 中 ,我 们 
将 讨论 几 种 方法 ). 一 旦 FF 的 对 角 块 已 知 了 ,F 的 产 格 上 三 角 块 也 
可 递 推算 出 ,就 像 所 有 的 块 都 是 数 一 样 .比较 FT= TF rh í< 的 
块 ,可 得 (11.1.4) 的 如 于 推广 , 它 是 确定 递 推 关系 的 方 称 : 


j-i 
FT; - TaT; = T,F, Fibs; + $ (TF; 一 Faby). 
k—:*l 


(11.1.5) 
如 果 每 次 要 算出 PRE-SMA, WAE- HE A, 
未 知 数 为 块 Fj 之 元 素 的 线性 方程 组 . 它 可 以 用 Bartels Stewart 算 
法 (算法 7.6.2) 来 求解 . 

在 矩阵 A 和 函数 了 都 是 实数 时 ,这 儿 介 绍 的 计算 FCA SP 
+h Schur 阵 方 法 是 很 有 用 的 .在 计算 了 实 Schur 分 解 A = gro'! 
后 ,可 用 上 面 的 分 块 算法 沿 着 T 的 块 对 角 元 来 处 理 这 些 2 乘 2 块 
的 计算 问题 . 
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>] 题 


11.1.1 FAIRS X11.1. 1) BE (a) ASC A) = fCAIA, (bb 4A E F 
ZARR, /CA +b E E= PR, (04 A 是 Hermite EER, (CA HEE Her- 
mite 5B EE, 

11.1.2. 改写 算法 11.1.1, 使 得 /CT)—54— SA. 

11.1.3 3 A= Xdag( A) X !, HP XS [resen IX 1= [54 
ye 证明: 如 果 AAE, M 


A) = DO ror 


11.1.4 证明: 
[Tin Te] | [Fu Fu]p 
p | 0 |= i | 0 a 
P q P q 
其 中 Fy = f(T). Fo = f Tn) ,这 里 假定 fT) 有 定义 ， 
本 节 注 释 与 参考 文献 


本 文中 FCA ER BD Am h TR REE PAR AA WL, 
N. Dunford and J. Schwartz! 1958). Linear Operators , Part I, Interscience, New York. 
正如 我 们 所 说 ,也 可 用 AEA sg. 2 ELE PES A a h e 3E EE | 3 B 
存 这 些 定 这 都 是 等 价 的 . 见 : 
R. F. Rinehart (1955). “The Equivalence of Definitions of a Matric Function,” Amer. 
Math. Monthy 62 ,395—414. 
关于 Jordan ar FP Jy HUE W. 
J. S. Frame (1964). " Matrix Functions and Applications, Part II," IEEE Spectrum 1 
( April ) , 102—108. 
J. S. Frame (1964). " Matrix Functions and Applications, Part II," IEEE Spectrum 1 
{June ) , 123—131. 
Fic B gh Schur 分 解 与 ARRE: 
D. Davis( 1973). "Expliet Functional Caleulus" Lin. Alg. and Hs Applic .6 ,193-—199. 
J. Descloux (1963). “Bounds for the Spectral Norm of Functions of Matrices,” Numer. 
Math . 5,185—190. 
C.F. Van Loan( 1975). "A Study of the Matrix Exponential,” Numerical Analysis Report 
No. 10, Dept. of Maths. , University of Manchester, England 
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算法 11.1 MEAT # šB ok TE ts li BU 4 eS BE TL. F ae 
讨论 : 
B. N. Pariett( 1976). “A Recurrence Among the Elements of Functions of Triangular Matri- 
ces, Lin. Alg. and Iis Appiic. 14,117—121. 
如 果 A BDL AR AB 7.6.3 7) Jordan Jr i& 3 Schur JA al 35 ER SEU, W, 
B. Kágstróm( 1977). “Numerical Computation of Matrix Functions, " Department of Infor- 
mation Processing Report UMINF-58. 77 , University of Umea, Sweden. 
3: T 5B EE p #t Xp Do Sh BO 8k E PT E ES n] AL 
C. S. Kenney and A. J. Laub( 1980). "Condition Estimates for Matrix Functions, " SLAM J. 
Matrix Anat . Appi. 10,191— 209. 
C. S, Kenney and A. T. Laub( 1994). “Srnall. Sample Statistical Condition Estimates for Gen- 
eral Matrix Functions,” SIAM J. Sci. Comp. 15,36—61. 
本 章 的 一 个 主题 是 , 苦 A JEU MISERE PAAR ACAD EIE E fz), fh 
特 社 值 是 理解 该 现 每 的 -- 种 方法 , 见 
L.N. Trefethen (1992). " Pseudospectra of Matnces, in Numerical Analysis 1991 ,D. F. 
Griffiths and G. A. Watsoni cds) , Longman Scientific & Technical, Harlow , Essex, UK. 
i£ 11.3.4 和 邓 和 将 有 更 详细 的 讨论 . 


811.2 E 近 法 


本 节 , 我 们 讨论 一 类 初 看 起 来 不 涉及 特征 值 的 计算 矩阵 阴 数 
的 方法 .这 类 方法 的 基本 思想 是 ,如果 e (0E ACA) FB f(x), 
BW eiA JEE f(A), mp: 
Axrtaraes4e 4+ AP 
BJ d€ TT FB BEES OO Jordan 和 Schur 3€ zs JÉ A H fe Ht 


|| f(A) -g(A) | 的 界 .之 后 再 讨论 一 下 矩阵 多 项 式 的 计算 . 
11.2.1 Jordan 分 析 


XR PE PRAY Jordan 表示 {定理 11.1.1) 癌 用 来 和 估计 g (A) 
Xr FCA RRE. 
EIE 11.2.1 2 AC C^" "8 Jordan 标准 形 为 
X !AX = diag(J1.J2.° dp), 
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其 中 


ÀI Ü 
Ë A, | : 
J, = : f : 
P e rar ... À; 
为 m, Pr Jardan Hk. eR f(z fe g(z EAS A (A )69— F £ F $ 
析 , 则 
rifa Qo) 
|| XA) g(A) |], ez CX Ix mi LF a= el 


(zem 一 1 
证 明 h(z)— f(z)— elz), H 
| /(A) — g(A) o2. || Xdiag( RJ. AC X Ho 
E (x) max lA CI Ie 
应 用 定理 11.1.1 和 等 式 (2.3.8), 可 得 
| AI (3) | 
ACS) eS mi a pr 
由 此 可 知 定理 成 立 . 
11.2.2 Schur 分 析 


ont A HÍ Jordan 分解 而 用 Schur 分 解 , 则 可 得 另 一 个 误 善 界 
的 估计 . 

定理 11.2.2 ik A € C" 77 & Schur ARA QAO = T = 
diag( A4;) +N, FPN 为 丁 的 严格 上 三 角 部 分 .如 果 f(z) fe g(r) 
在 一 个 内 部 包含 A(A) 的 闭 西 集 吕 上 解析 , 则 


LAO = iC) Lec a Ne, 
XP a= supl F(z) - g'?(2)]. 
证 明 A(z) = f(z)-g(5), H—- (hy) - A(A).id SÍ? SS 
所 有 满足 so = i,s, = j 的 严格 递增 整数 序列 (so,sl,…,s ) 组 成 的 
集合 .注意 到 S, = 局 S 全 ,从 定理 11.1.3 可 知 ,对 所 有 的 i<j, 有 
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SSS =r PS ERREUR 


-1 
—7 - 
h, = 5) > HINTS PLA SUA. |. 


r-l epi” ie ° 
既然 2 EGH A WW, AF 
{r} 
[aLa oA, [< sup LA Ce = u3 (11.2.1) 
zE ry r. 


mA, Exil NI—7),"21, MATE: 


Ü J < +rFr, 
(r) — ` l naa DS o4 
Wi = »» LEES "sus, Ws et | . J =r tr 


(11.2.2) 
E h; AREA P KARERE, ER AAV CLL 2. 1) CTI 2.2), 
H| XE Pl RR sr. [] 


上 而 的 定理 表明 ,仅仅 在 A AACA) E B f(A) EAR 
的 .特别 地 ,如 果 A 的 特征 矩阵 是 病态 的 或 者 它 同 正规 阵 的 分 离 
度 很 天 , 则 AAA) 与 g(4) 的 益 可 能 会 比 |.Az) gl) EALA) 
上 的 最 大 值 大 的 过 .因此 ,虽然 通 近 方法 可 以 避免 特征 值 的 计算 ， 
但 它 受 到 特征 值 性 态 结构 的 影响 .这 - -点 我 们 下 一 节 将 继续 讨论 ， 
例 11.2.1 TR 


-0.0 1 1] 
A= 0 0 1 | 
0 0 0.01 


# f(z=)=e*,g(z=)=1+ x+ 2/2, MRA FCA) - gCAD || == 
1075, B 35 x, ( Xeet0-7 ,用 定理 11.2.1 EHRE 09 OL), 6 
SEE 3-3 8,8 Schur 分 解 估计 的 误差 为 O(10 7). 


11.2.3 Taylor 逼近 


— Rb XB XR (BAA e^ ) 的 常用 方法 是 用 Taylor RR. 一 
个 矩阵 函数 FCA ) 存 在 Taylor ZEIT J 28 TF AB £95 133] B9. 
定理 11.2.3 如 果 f(z) EES ACAD 60 — FB] E Tay- 
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—— MÀ — r 


lor AEH: 
f(z) 一 2a cee", 


f(A) = >l GAP, 
k=l 
证 明 我们 对 A 是 可 对 角 化 的 情形 来 证 明定 理 ,在 题 
11.2.1 中 ,给 出 提示 说 明 无 此 很 设 如 何 处 理 . 设 昧 'AX= D = 
diag( Ai, AD ,应 用 推论 11.1.2 有 
f(A)-7 X diag( FA) fA fA, XK! 
= X diag( Sad. Seat |x! 


&=0 


x( Yap Xx 


= 2 (DX Dy = S oat. E 
LAEE 8038383 PE BS ËECE E HUI UE 
log(1 -A)= 91A, lal« 1a € ACA), 


T A? 
sin( A) = 2;C 1)* (2k + DP 


_ = A“ 
cosl A) = 2 D' Op 
下 面 的 定理 给 出 了 用 截断 的 Taylor 28 9k 3 A E [EE ARH Re 


界 . 
定理 11.2.4 如 果 f(r) EES ACA ) &8 JF B] AEA Taylor 
KH: 
f(x) — Dy agt, 
k-ü 
则 有 了 以 下 估计 
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——— — Ó—MM RR Pp 


n max 
E) 
LI ogl 


[/40 - > “by S (q+ 


(A92! f* UC AS) ls 


f(As) = S a CAS + E(S),0 scd. (11.2.3) 
TRA f(s) RHR fFCA) IB ,站 元 , 则 它 肯 定 是 解析 的 ,所 以 有 
f(s) = (> fio). +) TRO iue a, (11.2.4) 
其 中 ze 5< 1. 
在 (11.2.37 和 (11.2.4) 中 比较 s AE SM ECS 
{i,j) 元 具有 如 下 形式 : 
eg (5) = 
mm fj (5) 为 阵 Ani fe PLADIB DX 因此 
DEG) E An fo CAS) le 
应 用 (2.3.8) 式 , 即 得 定理 结论 口 


-49 24 
11.2.2 A-| IL 
t 车 64.31 j 


a . | ~ 0.735795 90551819) 
~ 1— 1.471518 1.103638 
34 q=59 时 ,定理 11,2.4 得 到 误差 界 为 


AT # 
A _ A | — —_ 
|e » A QS (q + D! em tA 


然而 , 当 uwo ^85 RM 
| Š A* E | m 一 | 
z Ë! — 61.4993] — 3.474280 
问题 出 在 部 分 和 中 的 有 些 项 出 现 了 很 大 的 元 素 .例如 ,在 工 十 
Ate + AF471 中 ,有 的 元 素 竟 达到 O10!) ,然而 机 器 精度 只 
7j 10 7, ) VA d A E E GER IO 3 EX 88$ 
例 11.2.2 说 明了 用 截断 的 Taylor 2X 3E B) VEXB EE i8 c9 — 
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e 


q+] pfs | > =< 10 


^r b da dà HASTA EX. A eee so BR 
这 一 点 .例如 ,重复 应 用 信和 角 公 式 : 
cos(2A) = 2cos*(A}~ I, sin€2A) = 2sin(A)cos(A), 
可 用 适当 的 截断 Taylor £5 E (8 38 3c “Ae E PE 05 E 3k IË AR 
fü: 
So = sinl A /2^) 的 Taylor iñ ir 
Ca = cos(A 72*) 的 Taylor 38 UE 


for ; = 1: Ë 
5; = 25,1.C,-1 
C; = 2C7 | -f 
end 


这 里 上 E.— T ys SRM IBM, IE | A | — =2*. BD Serkin 
和 Blalock(1979) . 


11.2.4 计算 矩阵 多 项 式 


ER Ay fE RH 8k FS PE BRE GE PAR RISD PUA 
必要 详细 讨论 多项式 : 
DLA) = bok + b À + + BAT 
的 计算 问题 ,其 中 50,…,5 为 已 知 的 实数 .最 明显 的 办 法 是 用 
Horner 的 技巧 ， 
算法 11.2.1 给 定 一 敌阵 A 和 向 量 (0:e), 则 本 算法 计算 
多 项 式 :F= Bb A+ T b A = dol 
F = bA + b, AI 
for £ -9-2:-1:0 
F = AF + bil 
end 
该 算法 需要 q -1 次 矩阵 乘法 .然而 ,和 数 的 情形 不 一 林 ok 86h 
和 过 程 并 不 是 最 好 的 .为 什么 呢 ?” 以 g 二 9 为 癸 来 说 明 . 注意 旬 ， 
DLA) =A2(A23(55A23 + (bg A? + brA + HT) 
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+ (55A?  b4A + bE)) + 55A? + BA + bg. 

Bye, HUE ee EE A PE HL F = pA): 

A, = A?’ 

As = À : A; 

Fi = by A, + bA + bA + bol 

Fa = AF + bsA; + b A + 6l 

Fo = AsF; + bsA; + BA + bol 
一 般 的 来 说 , 若 s 满足 :1 所: 所 “9 的 企 一 整数 , 则 

pCA) = 2 BLADI, = floor(g 7s), — (11.2.8) 
其 中 
B, = ae tet by iA + bg, £= 0: r-1, 
DATT te + bo A + b, Ë = r. 

—H A? e, At S Hi, Horher's 规则 可 用 到 (11.2.5) 式 .所 以 ， 
六 4) 的 结果 可 以 只 有 +r- 1 次 年 阵 乘 法 得 到 . 当 = floor(/ g) 


时 , 乍 阵 乘法 的 数目 大 臻 最 少 . Paterson 和 Stockmeyer( 1973) 讨论 
了 这 一 技巧 . Van Loan(1978) 担 出 了 不 用 存储 AZ, +, A^ 就 能 使 


这 一 算法 运行 的 技巧 . 
11.2.5 HAERE 


一 个 矩阵 的 寡 的 问题 值得 特别 注意 .假设 要 计算 AD ,注意 到 
At= (AY, AČS (AY, AP = A-AA, AS RRR 
可 完成 这 一 运算 .对 一 般 情 况 ,算法 如 下 : 

算法 11.2.20 HRB) BEE ACR "n $a I 3k 3k 
s, FAHER FA. 

设 s= >) 825: s 0 X MEE BAO 

Z=A;qg=0 

while 8, — Ü 
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a waar 


Z-Ziq-qtl 
end 
F-Z 
for &-gtltr 
z = Z° 
if 6,250 
F= FZ 
end 
end 
这 一 算法 最 多 需要 2floor[log, (s) KERRE. E s AE 2 B) £, 
只 需 logo (s) KEER. 


11.2.6 ÆRA 


BEAT] EA SB PE PR AR ot JULA HE OR ECCE BRE fC A ) Bt 
所 有 的 C [a 5 EX RTA EHE. 


F = [rae Jdt. 


和 (11.1.1) 一 样 ,上 式 是 对 每 一 元 素 逐 个 积分 
一 般 的 求 积 法 则 对 下 也 是 适用 的 .例如 ， 应 用 Simpson 公式 ， 
有 


— 


F == F = £ Y (A (a +hk)), (11.2.6) 
其 中 m APRA —(b—a)/m,w, 的 值 如 下 : 
1, k = 0,m 
Wig R RAR, 
2, k MER LE U0.m. 


M didz fet) = FÉ)" Cet FE rC la, b EER, H fCAr)TE 
同一 区 间 上 有 定义 , 则 可 证 : 


F=F+E, 
其 中 
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一 一 一 一 — . — Á— 


EE |, < EO max fat) |>. (012.7) 


用 f, es 分别 表示 至 FILE Hi. ju. YE babi EE FL] Simp- 
son 公式 的 标准 误差 界 可 得 : 

-hi(p — a) 
1 1g 


因为 || E ll <nmax]| e, | R. 

max | eif” (Arde |< max || f(A) |i 2 
所 以 (11.2.7) 成 立 , 当然 ,在 (11.2.6) 的 实际 应 用 中 ,函数 f(A Ca 
+ kh )) — f = FH] a c 09 Zr dE Sth. A IC E HIER 2E tu d 3 ya 
f(A (a + kh )) PETER I] DS 25 A Simpson 公式 本 身 所 具有 的 误差 . 


le max | e;/ C Az)e;| 
ab 


3 题 
11.2.1 (a) G= AF t E E p 3E p Jordan R, RP E= (6. ;-1) WEH: 
muni p- 1, $) I 
(Apt EY = 3 ("ate 
jn J 


th) 利 用 {a} 和 定理 11.1.1 证 明定 理 11.2.3. 

11.2.2 üEBHCIT.2.2) 

11.2.3 HERR: EL A zi 5 log( E AXE EM, ARS log( I+ 
A? ls | 4 ll of U- | A lm. 

112.4 OM A E -n BOOMER: (a UEBHZE TE HE — BRUM PR IE cE 
区 ,使 得 A= X?,(b) EWS X, = 3, A X,,, = (X, + AXEO/2, MJ X, — 
JA KEEP A 4 表示 (a) 中 的 X. 

112.5 SRE A 是 对 称 和 上 三 角 两 种 情况 改写 算法 11,2.1, 并 争 出 
相应 的 flop 数 . 

11.2.6 ”证 明 ; X (2) = Cicos( t A) + C; V A 1sin(z VA ) 是 初 值 问 题 
e(t)=—- AXGO,X(0)  C,,X (00 — C; 的 解 .这 里 假定 A 是 对 称 正定 的 ， 

11.2.7 利用 定理 11.2.4. 25:18 F Ph m RENE. 


_ ye ATUS 0 _ Nv ye AT 
sin(A) = PC D ir pos = 2C D dies 
11.2.8 HAC RIE APSE, X C 22 "DE. FEE: 
X, = X QI - AX,) 
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ERAR fc) — a - (140) Newton 法 的 矩阵 形式 . 应 用 SYD 分 析 这 一 造 
R. ERARA A HB? pietii X, 的 选取 ， 
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$11.3 和 矩阵 指数 


经 常 要 计算 的 矩阵 函数 之 -是 指数 ; 

-y (o 
计算 它 的 算法 已 有 许多 ,但 正如 Moler 利 Van Loan(1978) 的 综述 
文章 所 指出 的 那样 ,它们 中 大 多 数 部 是 不 可 靠 的 .为 了 说 明 计 算 的 
朵 难 所 在 ,我 们 在 Pade 逼近 的 基础 上 提出 一 种 “加 权 与 平方 ”的 方 
法 .然后 ,又 给 出 了 此 方法 的 简要 分 析 . 这 下 涉及 到 了 eA) ang 
动 理论 ,在 非 正规 阵 的 情形 ,我 们 指出 了 特征 分 析 的 缺点 . 


11.3.1 Padé 逼近 法 


按照 $11.2 讨论 的 结果 A gle), A] e CA jet, WAA 
这 一 目的 ,有 一 类 非常 有 用 的 逼近 函数 Padé pa RX : 
RC) = D. (z) Ng, (z), 


其 中 
Nog) — 2 ipte S Ë 


+ q — Ë 
Dig2) = MU p ics 


EE, Rel) = ltz tetp! Æ k B Taylor EMA. 
不 幸 的 是 ,Pade 38 iy fE JB a, BH it A ke. F 3 Aj zÉ ge BH 
了 这 一 点 : 


et = CA) + TER AP C UD (AY | w (1 — uYg Afl- as. 


(11.3.1) 

然 面 ,利用 事实 et = (e* ^") 可 以 来 克服 这 一 困难 .特别 地 ,我 们 

可 以 把 A 除 以 加 ,使 得 F, = Ra A/m) IE es" 比较 精确 的 通 

it. 然后 用 算法 11.2.2 计算 FZ. WMR m 是 2 OE, GA SF st 
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一 一 
— 
Pe pr 


复 地 平方 ,因而 非常 有 效 . 整 个 算法 的 好 坏 取 诀 于 远近 : 


ss = (8.0) 


的 精度 . Moler 和 Van Loan( 1978) HEA T :47 
EE 五 后 这 2 ”使 得 : 

Pro = Ate ， 

AE = EA, 

E|. <e(p.g) || A Ia, 


LA || < 


l . 
UA «3$ Mr 


Moto . plat — 
elp) = 200" (pt q)l(p + q + ht 


这 些 结果 形成 了 有 效 计算 e 且 控 制 误差 的 方法 之 基础 ,利用 上 面 
的 公式 , 易 证 不 等 式 


Ted IF co < e(p.q) | A I we Dial 


参数 p,g 可 以 根据 所 要 求 的 相对 误差 来 确定 .注意 ,既然 F, 大约 
需要 7 了 + max(pp,9) 次 矩阵 乘法 ,所 以 最 好 令 p = 9g, 因为 这 对 给 定 
的 工作 量 ,使 se(p,9) 最 小 .把 这 些 思 想 结 合 起 来 ,就 得 到 下 面 的 
算法 
算法 11.3.1 BLE ACR 和正 数 人 >0, 本 算法 计算 
WE FA TV EI Wd A lo. 
j = max(0,1 + floor(log; CIT A | .))) 
A = A/V 
& q Ath Xe q, dsgG 的 最 小 的 非 抽 整数 
D=l:N=1;X=I3c=1 
for &-1:9 
c=c(g—ËkË+1)/(2q - Ë + 1) ] 
X=AX;N=N+cX;D=D+(€-1)*cX 
end 
用 Gauss 消去 法 从 DE = N EEF. 
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for £ —1:j; 
F = F° 
end 
这 -算法 需要 大 约 2{0 + 了 + 173)ni 个 flop. Ward (1977 fl] I Ar 
Ër f CRS ARE. 

S 11.2 中 特殊 的 Horner 技巧 可 用 来 加快 D = D(A) AN 
= Nw(4) 的 计算 .例如 , 若 2=8, 则 有 Ngu ASUTAV, Du 
U-AV,HmH 

U = col + oA? + (cal + C, A7 + cgA A‘, 

V = c.f + cs AT (esd + cA AT, 
显然 ,只 用 5 次 矩阵 乘法 就 可 算出 N AD HF 11.3.1 却 需 要 
7 K. 


11.3.2 扰动 理论 


有 伟人 误差 时 算法 11.3.1 是 理 稳 定 呢 ?回答 这 一 问题 需要 
TRERSBEEJS OX ARASH Sh BE. HICH AA Bp TB I8] 
题 : 

X(t) = AX(2), X(0) = I, 
Hp A, X(t) CIR". ME cs XC) =e" RETE UID 
征 可 用 来 推导 拒 等 式 : 


. : | . 
e AEN E eM _ | cU s) CAPE) dy. 
Ü 
利用 上 式 可 得 : 
At+E 
| 5479 et |> — «LE l| e4 7? p, | e^ | 
At Ar 2ds. 

le* ||, Sie IE 


如 果 我 们 估计 出 被 积 函数 中 指数 范 数 的 界 , 则 结果 可 进一步 简化 . 
这 样 伍 的 一 条 途径 是 利用 Schur 分 解 .车 QU AQ = diag(A,) + N 
AR A €C Gn BY Schur 分 解 , 则 可 证 : 

lle |, < et AHMED (11.3.2) 


———— H o r r — 


a(A) = maxi RcA : A € ACA), (11.3.3) 


n-l | Ni | š 
Ms(t) — > Ë! 2 
k-ü , 


数 nt 有) 称 为 谱 的 模 坐 标 .简单 的 运算 可 知 : 


| et A+E)t — e“ | > 


| At I =< t |E| 2 Ms ( t )”exp( z#Ms( t) | E || 2)- 
e 2 


注意 , Ms(t)=1 SHA A 是 正规 的 .这 表明 A 是 正规 阵 时 AE 
阵 指数 e^ RE" R 07. DK -点 被 它 的 条 件数 所 证 实 .矩阵 指数 的 
条 件数 定义 如 下 : 


If! ate ， | Al 
v(A,t} = max | AY ods au. 
[Elsa lo 2 lle |l 


Van Loan (1972) Hit T BRAS SR. A — e^ HMR OS 
定 的 z, 存 在 矩阵 EE 使 得 
| eA E^ «en ||, | EI; 
| e^* IL. | A d. 
因此 ,如 果 vA MEK W A 中 很 小 的 变化 会 导致 et 中 相对 很 
大 的 变化 .不 幸 的 是 ,很 难 精 确 地 刻画 使 vt A ,1) 很 大 的 答 阵 A 
(这 和 线性 方程 组 Ax = 5 相反 ,那里 病态 的 矩阵 可 用 奇异 组 分 解 
SYD 来 简洁 地 描述 ). Am, A RA URRE vA, t) 
£| A 上 ;, 等 号 对 所 有 的 1 成立 当 且 仪 当 A 是 正规 阵 . 
多 注意 一 下 非 正规 性 的 影响 ,就 可 从 5311.2 P AEG XE. el 
所 涉及 的 不 仅仅 是 在 A(A4A) 上 这 近 e7. 另外 一 条 线索 是 特征 值 不 
能 得 出 问题 e 全 的 全 部 性 态 , 这 与 谱 的 横 坐 标 (11.3.3) 不 能 预测 时 
间 函 数 || e: 上 :的 大 小 是 相关 的 .如 果 A 是 正规 阵 , 则 
|| et | 2 = e4. (11.3.4) 
AU RA KRIER EEFE FEL BTS, ERE — $9 sz 
减 的 .但 若 生 是非 正 规 阵 , 则 eS ERAT SES HE KK. Fi 2 
Fe 2 EE 


az y(A,t) 


一 1 M eset = 了 | d 


A-[ oi 0 1 
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很 清楚 地 说 明了 这 一 点 . 
11.3.3 一 些 稳定 性 问题 


有 了 了 上面 讨 论 我 们 可 开始 考虑 算法 11.3.1 的 稳定 性 . 如果 
A 是 - -个 其 指数 在 哀 减 前 增长 的 第 阵 , 在 半 方 的 过 程 中 会 出 更 一 
些 潜在 的 内 准 . 如 果 


则 可 征 低 入 误差 界 的 阶 为 
y-ulG ls- | GI e lG? Is, 


它 损害 所 计算 的 G 是 意料 之 中 的 .如 果 || et], 的 初始 增长 很 
大 , 则 可 能 
y> u || G^ |z œu det lla, 
从 而 排除 了 相对 误差 较 小 的 可 能 . 
WEA 是 止 规 阵 , 则 G 也 中 正规 的 .因而 对 所 有 正 整 数 m 


BUG" a5 || GIZ., yu G^ lu let I5, 8i e 
增长 的 问题 消失 了 . 当 A 是 正规 阵 时 ,算法 基本 上 能 保证 相对 误 
差 较 小 , 反 过 来 , 当 和 丰 是 非 正 规 阵 时 ,要 对 方法 给 出 结论 更 加 轩 
难 , 因 为 还 不 清楚 矩阵 指数 的 条 件数 v(4, 妇 与 初始 增长 更 得 之 
间 的 联系 . 然而 ,数值 实验 点 明 , 只 有 当 y( 丰 ,1) 很 大 时 ,算法 
11.3.1 不 能 给 出 相对 精确 的 eA. 


11.3.4 AEEA HA 


在 $7.1 的 结尾 ,我 们 指出 ,用 和 矩阵 的 特征 值 来 衡量 与 奇异 阵 
的 接近 程度 时 往往 不 是 很 好 ,除非 矩阵 是 正规 的 .在 方程 组 Ar = 
b RMT TP , YF PE kE BE BJ ay AR r 1 op R E. ÍT] 
AB E di CB AT YE r wit Phaku hj Bo. “个 非 正 规 阵 的 
谱 不 能 完全 描述 e 的 性 态 ， 
在 许多 应 用 中 ,和 矩阵 的 特征 值 对 所 建 模 的 基本 现象 说明" 些 
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什么 .但 当 特 征 值 对 扰动 极为 敏感 时 ,它们 所 说 明 的 则 可 能 会 是 误 
F. Ee ru a S gg AE. ete > OE A 的 e DERS AE X. An 
F: 

AMA) =e Eo: hÆ- A) l| Z £ 11.(11.3.5) 
定性 地 讲 , 当 zf 一 和 接近 奇异 阵 时 ,z 即 是 4 的 一 个 伪 特 征 值 , 约 
AQ A)=ACA). PRES HEM: 

1. # eje, M Ae1C A )CC A63 (AD, 

2.A CA) = izC€ Zo, CzE — A), 

3.A,CA) - ÍIzC C:CAC(A tE), E 3 | E | Se 6) X A 5E 

RET. 

18822: — AE TE SLE 859 09 S RE OR RS Hi AE P 1] PI TE de BE. kB RR 
可 以 指 求解 方程 组 Ax = b RACES un TE RP B 
PE A 的 模型 中 所 预测 的 物理 观 象 . DL Higham 和 Trefethen 
(1993) , Nachtigal, Reddy 利 Frefethen (1992) A Trefethen, Reddy 
和 Driscoll( 1993). 
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11.3.1. HEB ATP = A MMA : WQ zr 24 B (2 5 AB = BA ($ 
Am PEH AH EÑ. + BS 28 $ 38 Oe se 的 系数 )， 

11.3.2 dt A BR RA. eA (1.1) Pade BE Ri (A) BRE 
交 的 .还 有 其 他 前 p,g HIER, (A) IER? 

11.3.3 证 明 : 若 A dEZE A OUP X TG A = eX X $E — 37 
- AT r] jeo Fi;ln 


x 
Ü A T Ü M 


7 n 


11.3.4 i8: ol | 


Fi, F; = | e^ Pe dr, 
11.3.5 HR A= uvl',u, E E" SHR eA 的 算法 . 
11.3.6 Wi AC RS R oC Ra, | G |, = 1, € X RBA = 
l| e^o || $72, uEBH- 
$ (2) x e(A)6(:), 
= 6657 + 


其 中 p(A)=A,C(A FAA). rule n] fiie: 
le” aset, peo. 


11.3.7 HEBHA YW hšs hS FAE. 
本 节 注 释 与 参考 文献 


oH BARA BB ap ll A BE Be nu] h, 

C. B. Moler and C.F. Van Lean( 1978). " Ninetcen Dubious Ways to Compute the Exponen- 
tial fo a Matnx,” SLAM Review 20 ,801-—836. 

在 仔细 考查 的 19 个 方法 中 ,用 Pade 通 近 的 加 权 与 平方 (算法 01.3. 1) Darlett 的 
Schur 分 解 方 法 (算法 11.1.0006] 1 389 SCC LIE REEL BER GE 0] SERO Jia. < PEBE 
数 Padé AULA £T 35 m ar # W. 

W. Pair and Y. Luke( 1970). “Padé Approximations to the Operator Exponential,” Numer. 
Math. [4 ,379— 892. 

C.F. Van Loant 19773. “On the Limitation and Application of Padé Approximacion to the 
Matrix Exponential, "in Padé and Rational Approximarion , ed, E. B. Saff and R. S. Var- 
ga, Academic Press, New York. 

R.C. Ward(1977). “Numerical Computation of the Matrix Exponential with Accuracy Esti- 
mate, "SIAM T. Num . Anal. 14 600-614 

A. Wragg( 1973). “Coraputation of the Exponential of a Matrix. [; Theoretical Considera- 
tons," 了 Inst. Math. Applic. 11,3690—375. 

A. Wragg( 1975). "Computation of the Exponential of a Matnx II; Practial Considerations, " 
J.Pnst.Math. Applic. 15 ,273-—278. 

AH .3.1) SBT Pu BH nj M. 

R. S, Varga( [961). "On Higher = Order Stable [mplieit Methods for Solving Parabolic Par- 
tial Differential Equations, J . Math. Phys. 40 ,220—231. 

HER MA SAS oe SIR BI, ESTE RA HAH, 8 =! 
= Bi SUM PRR ED W. 

1. Johnsen and C. L. PhillipsC 1971). " An Algorithm for the Computation of the Integral of 
the State Transition Matrix, " IEEE "Trans Auto. Cont. AC-16 ,204—205. 

C.F. Van Loan ( 1978) “Computing Integrals Involving the Matnx Exponential,” IEEE 
Trans. Auto. Cont, AC-23 ,395—404. 

在 评估 计算 年 阵 指数 的 算法 的 表现 时 ,理解 映射 A— exp ú At ) RE RRA E 
imi. xx Em ritmi. 

B. Kagstrom{ 1977) . “Bounds and Perturbation Bounds for the Matrix Exponential,” HIT 
[7 ,39—357. 
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Anal. 14 ,971— 981. 

R. Mathias( 1992) . "Evaluating the Frechet Derivative of the Matrix Exponential, " Numer. 
Math . 63 ,213—226. 

EERTE :个 重 村 的 领域 , 它 希 要 更 志 的 研究 .人 这些 计 算出 现在 各 种 各 

样 的 秒 诅 识别 问题 中 . 见 

EB. Singer and S. Spilerman (1976). “The Representation of Social Processes by Markov 
Models, " Amer. J. Sociofugy 82 ,1—54. ~ 

B. W. Helton( 1968). “Logarithms of Matrices, " Proc. Amer. Math. Soc. 19 ,733—736. 

AT, RERS: ， 

LN. Trefethen (1992). “Pseudospecta of Matrices," in Numeric Analysis 1991 , D. F. 
Griffiths and G. A. Watsoni eds}, Longrnan Scientific and Technical, Harlow, Essex, UK, 
234—262. 

D. J. Higham and L. N. Trefethen( 1993) . “Stiffness of ODES, " RIT 33 ,285—303. 

L.N. Trefethen, A. E. Trefethen, S. C. Reddy, and T. A. Driscoll( 1903). “Hydrodynamic 
Stability Without Eigenvalues,” Science 261 ,578—584. 

VL E. Chaitin-Chatelin 和 Frayssé( 1996, 1' È). 
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第 十 二 章 特殊 问题 


$12.1 £ymdgh e [n] Bl 

$12.2 IH SVDJXEX 子 列 集 
$12.3 BAKA 

$12.4 利用 SVD 计算 子 空 间 
$12.5 矩阵 分 解 的 修正 

$12.6 修正 的 及 结构 化 的 特征 问题 


在 此 最 后 一 章 , 我 们 讨论 儿 类 反 歧 奇异 值 ,QR 分 解 和 Schur 
分 解 重要 应 用 的 问题 . 首先 考虑 人 带 约 束 的 最 小 二 乘 问题 . $12.1 
考虑 了 商 类 约束 ,二 次 不 等 式 和 线性 等 式 .在 $12.2 中 ,我 们 讨论 
了 怎样 用 年 阵 A 的 某 些 列 来 带 近 观察 向量 5b, 当 A 条 秩 时 ,这 是 
经 常用 到 的 .在 $12.3 中 ,考虑 了 被 称 为 整体 最 小 一 乘 的 -- 般 回 
归 间 题 的 变化 形式 , 它 在 A 有 误差 时 是 很 有 用 的 .有 关 奇 异 值 分 
解 更 多 的 应 用 在 $12.4 Hie, H PE E LÆ 子 空 间 的 计算 问 
E. 9 12.5 RHET HER A 有 低 秩 扰动 时 ,怎样 更 新 它 的 正 交 分 
解 . 基本 特征 问题 的 某 些 变 化 形式 将 在 人 $12.6 中 讨论 . 

预备 知识 : 

因为 本 章 是 经 述 性 的 ,不 宜 给 出 所 需 知 识 的 章节 范围 .相反 ， 
每 节 的 开头 都 会 提 一 下 本 书 前 面相 关 的 内 和 容 , 只 如 果 合 适 的 话 ,会 
提 到 LAPACK 或 其 他 专著 . 


912.1 约束 最 小 二 乘 问题 
在 最 小 二 乖 中 ,有 时 很 自然 地 要 存放 的 某 子 集 上 极 小 化 


| Az -5 上 有 2. 俩 如 ,我 们 希望 在 单位 球 上 xz;3=1 上 用 Ar RE 
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近 向 量 5 .或 者 需要 求 出 一 个 插值 函数 使 其 在 有 上限 个 点 上 取 给 定 
的 值 . 这 就 导致 了 等 式 约 束 的 最 小 二 乘 问题 .本 市 讨论 怎 梓 用 QR 
分 解 和 奇异 值 分 解 来 解决 这 些 问 题 . 

阅读 本 节 需 要 第 五 章 及 第 $8.7 节 的 知识 .相应 的 LAPACK 
NT : 


BEIC X PJ 3 BE) 3 IF] E8 
eS AAA LS 问题 


—GGLSE 


_GGQRF TA BL QR 分 解 
—GGRQF ART RQ 分 解 
—GGSVD mr XY HE F [P| ETE = BE SR, 


itt = fü FEE RH RR 


补充 参考 文献 包括 Lawson 和 Hanson (1974) UJ At Björck 
(1996). - 


12.1.1 二 次 不 等 式 约 束 最 小 二 乘 


带 二 次 不 等 式 约束 的 最 小 二 乘 的 极 小 化 ,简称 LSQ 问题 ,是 
-- 种 当 一 般 的 LS 问题 之 解 需要 规范 化 时 可 用 到 的 按 术 .在 对 有 
噪声 的 数据 进行 插值 时 ,会 出 现下 面 简单 的 LSQI 问题 : 
min |] Ax — è ||, 
s.t. || Be laxa, 
其 中 ACR” 6C8@, BOR "(CF aH) H. a 20. AR RIPE 
STIR" H BJ — 8 BRA, Ae wk 7 38 EE oP r BE  . BA 
8,4 B 是 离散 的 二 阶 导 算 子 就 可 以 办 到 这 一 -点 . 
更 一 般 地 ,我 们 会 遇 到 如 下 问题 : 
min ll Ax — & || 4 
s.t|| Be - d|, Sa, 
其 中 ACR"""(mz0).,5bCR",BCRF",qCmu*UAazo, 
" 671 ` 


(12.1.1) 


(12.1.2) 


8.7.3 TF PAS” at eS 2.1 2S ET BEL, 
a 
UTAX = diaglai saz, sam), UTU = L,, (12.1.3) 
VIBX = diag(81.82,°°.8,), V'V = I,.¢ = mini p,n}, 
是 A MBEN SM at Fe oo ie. C12... 2) BA 
min || Day — b ls 
s.t. || Dey 一 d |, =< = 
其 中 5 =U'b, d =V'd,y=X `x. 简单 形式 的 目标 函数 


I Day — 5 |2 = 2 lam- 8)? + 2,81, (12.1.4) 
i=l f=ntl 
以 及 约束 方程 


B 
| Day — d || Ii = MG» - d; ja > di Ke’. 


(12.1.5) 
方便 了 LSQI MARAA it rS rank( B), HIRE Añ. =: = 
B, = 0. 

T3 2c , R [p SE 8 f 24 EL 4 


51 22 < 2. 
如 果 在 表达 式 中 等 号 成 立 , 由 (12.1.4) 和 (12.1.5) 知 向 量 y; 


d ;/f. i=l: 
y; aaa ¿= r+]: a; #0, 
0, i=rt+tdin, a, =0 
(12.1.6) 
是 原 LSQI 的 解 .否则 
> d; < n°, (12.1.7) 
tort 
NALS i FABER” PJJ p] SE y 
|j b Za, a; >= Ü, >]: 
"U^ dd. a, = Q, a 
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E| Da- b ll, 的 极 小 点 . 如 果 此 向 量 也 是 可 行 的 , 则 得 到 
《12.1.2) 的 一 个 解 (然而 ,这 并 不 一 定 呈 最 小 范 数 解 ). 因 此 ,我 们 
假设 : 
af b, V vy 
Dati- 2.) + >) 22 > a2. (12.1.8) 


ay r=qgil 
a, Fl 


这 意味 着 LSQI AAR HU ñ: ITERA OA 2 41] 8E F 89 [nl 
题 是 

min || Day — & ||; 

s.t. || Day — d |a = a. 
PLFA Lagrange 乘 于 法 求解 这 一 Bl BA. RE V. pa 

hy) = || Day - ë I+ ACH Dey — d || - s?) 
H 0-—2h/2y,,i—1:n, f8 30 F 2; BA: 
(DID, + ADIDg) y = Dé + aDhd . 

f Fe BCE ESE ay FAS RCA): 


abd; + Aged ; = 1: 
nad =| ata tS T 


ba, 1 — q +1 : s 
为 了 确定 Lagrange £& 3X EARR: 
#(A)= || Dy(A) - d I$ 


ER An 

则 由 方程 $(a) =e? 确定 4. 这 一 类 型 的 方程 称 为 特征 (sccular) 方 
程 , 它 在 8.5.3 pE. (12.1.8) REA, (00 2 a^, 24 A 20 

时 | $(4) 是 单调 臧 的 ,因此 存在 惟一 的 正 数 4* 使 得 OCA" ) = a, 

易 证 这 就 是 所 要 的 根 . 它 可 以 用 任何 一 种 标准 的 求 根 方法 来 求 , 例 

如 Newten 法 . 原 LSQI 问题 的 解 为 x = Xy(A " ). 


12.1.2 ARHI LS 


HERC = i, d 一 0) 上 的 极 小 化 的 重要 情形 ,我 们 有 下 列 算 
- 673 ° 


le 


法 . 

算法 12.1.1 给 定 阵 ACR", mien b€ Sm a>0, E 
法 计算 一 向 量 x EE 3" 13 | 4r 6 1, R P BS Xx 
| x || 2a. 

计算 奇异 值 分 解 : 生 = ULV! AHEM Velo, JHE 

Mae b= U's. 

r — trank( A ) 


. Q (bY. ; 
if > (24) >a 


i=l ; 


` x y XO | 5,0; — „2 
RA BAF o, aI +A”) 
| | 
x 2; ota " T 
else 
_ x í & 
TU -1 (2) vi 
end 
在 此 算法 中 ,主要 的 计算 是 奇异 值 分 解 ， 


例 12.1.1 LSQI 问题 


的 长 期 方程 为 


对 这 个 问题 , 解 为 外: 二 4.57132 5 x —[0.9334,0. 35898 |", 
12.1.3 BAA 


算法 12.1.1 所 求解 的 问题 等 价 于 Lagrange 乘 子 问题 :确定 
A 0 使 得 
.674 + 


ee er er G HHA r l E er "SFP r a E- 


(ATA + AD)z = Alb, (12.1.9) 
Hl z || = a. BEF AR El Hi p) #8 


rA ZR 
Lak loll. 
的 正规 方程 .在 一 般 的 岭 回归 问题 中 ,用 某 种 准则 来 选取 参数 4， 
例如 :对 某 个 给 定 的 a || xA 1 2 二 a. 我 们 介绍 一 下 Golub, Heath 
和 Wahba(1979) 的 一 个 选取 A 的 算法 . 

S D, = I- eet = diag(ll, ,1,0,1,…,1) € E""^, W 
z (AA 


min = minl Az — b 134+ All x ll$ 


min || D,CAx - 6) We+allall$ — 22.1.10) 
的 解 . 因此 ,zx A) e E RE A DAS k TMS 的 第 并 个 元 素 
的 岭 回归 问题 的 解 , 即 忽略 了 第 次 实验 . 现 考 虑 选择 ,使 得 相 
互 确认 加 权 平 方 误 差 C(4) 达 到 最 小 ,其 中 


C(A) = 15) wn (asr (A) — bp), 


Bowe) Wa 是 非 负 的 加 权 数 ,af 是 4 的 第 上 & 行 .注意 到 
j Arla) - 6S = il D4CAz QU — 6212 + Cagz (4) bY, 
我 们 可 以 看 出 , 当 A 的 第 支行 又 重新 考虑 时 ,在 原平 方 和 中 增 可 
T (alu (A) - 5, T. I dk CaA TAER ,使 得 最 终 的 
模型 不 过 分 依赖 于 任何 一 次 实验 ， 
为 了 使 上 面 的 报 述 更 加 精确 ,我 们 对 它 进行 严格 的 分 析 , 并 给 
出 一 个 级 小 化 C(4) 的 方法 .假设 >0, 简 单 的 代数 运算 可 证 
xl A) = aa) + SE = ba, (12.1.11) 
1 — za} 
其 中 z, = (ATA + AE) la, z (A) = (ATA + AD) Alb, Æ 
(12.1.11) 的 两 边 左 乘 - a, 并 都 加 上 六 ,得 到 下 式 ， 
el(I - A(ATA + aE) 'A™)b 
elU — ACATA + AD TA) 
ERD RH r= [ri r |= b C Axe 由 公式 r= 二 [一 
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bi — akz (A) = (12.1.12) 


ACATA+AE) 4 2 给 出 ,可 知 
TH r z 
CUA) = MID) | 
Fü r, Or Ab A A R RE k WME p, 对 模型 影响 的 反 度 
量 . 4dr, 0b, 很 小 时 ,这 表明 模型 预测 p, 的 误 益 几乎 与 65, 无关. 
选取 参数 4 使 得 Ct4) 达 到 最 小 就 是 为 了 减 小 这 种 趋势 ， 
计算 A 的 奇异 值 分 解 后 ,4 ”的 确定 变 得 非常 简单 .事实 上 ， 
# UTAV = diag (01, s, 6,), 0122 7 = o,. b = U's, M) H 
(12.1.12) 8] iE 


lx = 
COA} = x2: » a? 
Hp a Ealah] 
171 a; +A 


Golub, Heath 和 Wahba( 1979) 讨论 了 这 个 表达 式 的 极 小 化 问题 . 
12.1.4 等 式 约 束 的 最 小 二 乘 
在 本 节 的 最 后 ,我 们 考虑 约束 条 件 为 等 式 的 情形 : 


min || Ar 一 五 || 5, 
st. Brod, 
这 里 ACR", BO PX" FER" de? A rank(B) = p. RINE 
(12.1.13) #4 LSE 问题 .在 (12.1.2) 中 令 a =0, 98 Lae 
题 (11.1.13). 可见 LSE 问题 是 LSQI 的 一 个 特例 .然而 ,直接 地 去 
解 LSE 问题 比 Lagrange 乘 子 法 更 为 简单 . 
为 简单 起 见 ,假设 4 和 B 都 是 满 秩 的 , 设 


05- Lol, S 


0 
X BT 的 QR 分解 , 且 作 分 划 : 


(12.1.13) 


P 
很 明显 ,在 这 些 变换 下 ,问题 (12.1.13) 变 为 
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min Ay + Azz— bl. 


因此 ,xy 可 从 约束 方程 RTy=4 ARIE. [5] && z 可 以 通过 求 解 下 面 的 
无 约束 问题 得 出 : 
min | Asz — (b — Ajy) lla. 


£ ER, BJ Be = o > | 为 问题 (12.1.13) 的 解 


算法 12.1.2 H AER”, BER” DER" dER? wR 

rank( A) — » H rank( B) — p, W| K f. £ & RAI Bz = b FR 
小 已 | Az — 5 || 5. 

| T= QR (QR 分解) 

843 R(lI: pil: p)!» = d 得 到 y. 

A — AQ 

AZAR AC, p+li nz- lb- ACG, L: py) lo 38.1. 

z= Q(:,1: p)»y* QC, pol: n)z 
tE, AAEE TP SER PS HE 


12.1.5 加 权 法 


一 种 求 问题 (12.1.13) 近 似 解 的 有 趣 的 方法 是 对 充分 大 的 1 
解 无 约束 LS 问题 
fA b 
mia [2 |e - Mik (12.1.14) 
8.7.3 FRA M At AS  (GSVD) 8] FE 4d ir B a p. 2 
UTAX = diag(ai,a;,*7,2,) = Da € &""", 
VIBX = diag’ Bi, B», Bp) = D; € RP*T 
ACA, BW CSV. ET SEI UE ETA BRAY. HU = 
[estas stm], V m [psv X= [xn z, ] BRE 
+ = SH P3 wib, (12.1.15) 


2 4 


"a 


ji TE SF RE (12.1.13) 898€. , ih 


p a;u b + A^ Bv id = u lÈ 
zA) = > af + AE nti a; <: 


(12.1.16) 


是 (12.1.14) 的 解 .由 
T. T 
a(aA)—x = > MICE RE (12.1.17) 

A r(A)— 时 A. 

这 种 解 LSE 问题 的 好 处 是 它 不 需要 特殊 的 子 程序 .一 般 的 
LS 求解 算法 即 可 .然而 , 当 ， 的 值 很 大 时 ,会 遇 到 数值 上 的 困难 . 
故 有 必要 采用 预防 措施 , 见 Powell 和 Reid(1968) 以 及 Van Loan 
(1982a). 

EJ 12.1.2 问题 : 


2 
的 解 为 =[0.3407821 ,0.3407821 |). is RA. 


j 2 7 
_ 3 4 | | 1 
min 一 ， 
5 6 TI 3 
1000 100 0 2 


KAMA x =([0.3407810,0.3407810}!. 
3] 题 


12.1.1 (a) TEAR: null A) null{ BD) 101 , 1] (12.1. 2) RO) BBA HE 
一 解 .(b) 给 出 一 例子 ,说 明 反 过 来 是 不 对 的 (提示 :A15 可 行 }. 

12.1.2 iX Por), piled. pL CE) BE Am P BHR, (ro yo】 ,…， 
(x Y AEA AM BG AR XT, z C [a, 5]. RT 2838 h — RR pir) 


= 2 by z) 使 得 > (pCr)7 y? ET ISR TIE SERA: 
=Ü r=0 
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[le Gas = > i ) < at, 
HF z= a+ ih, bat Nh, iE x PRI S (12.1. DA LSQ 问题 . 

12.1.3 WY-iy,-»lCck"" BE: 

YUY = diag(di,s,di), dy > d; 2 bd, > Ü. 
EAA: Y= QR 为 QR 分 解 , 则 R 是 对 角 阵 且 |x, | = d,. 

12.1.4 (atk: E (ATA + AD) xz — Alp,A 0, | z |+ = a, BM >z = 
(Ax b)/A BEX PRCAAT + AD) 2 = — 5, || ATz >= a 的 解 ,(b) 证 明 : 
#(AATH+AN)2 = —6, || ATz |350, W x= - ATz 满足 (ATA PAID = 
Alb, |] x |= a. 

12.1.5 BRA 是 元 素 均 为 1 的 m x 1 eB, p C 2 ,证明 ; 用 单位 
加 权 的 相互 确认 技巧 给 出 了 最 优 信 À. 


a= (位 ) -十 ) ， 
其 中 BT pk m.s DG, BY s - 1. 
12.1.6 ESSE (12.115) ,(12.1.16)40(12.4.17). 
12.1.7 给 出 算法 12.1.2 的 SVD 形式 ,使 之 能 处 理 秩 亏 的 A AB. 
12.1.8 设 4=[ | Jtt ACRI HERR A CS nhi 
So (A) V1 + omnl AZAT? Gain Ar). 


12.1.9 RAB: 
min | Az -bl AERN FEC Rm BCE Rn. 
z G= 
WR BAC BECK, HB ZER” ASE RM ME Z! BZ = diali, Àz, 
yA, ZICH E= E,,A,2 28A, (a UEBR LL RB A, 77?) z 的 可 行 
集 是 空 的 .tb) 利 用 ZZ, 说 明 如 柯 把 两 个 约束 的 问题 转化 成 一 个 约束 的 问题 ; 
min — | A x-6llo, 
— 
其 中 w= diag( A Y." A J) - AME. 
12.1.10 设 p—mcn.HACE""",Bec)jg^"?, AMT BESS 


. 579 = 


—r r B—HÓ—Ó BÀ PI rr rere rer rr 


QE“ "AVE A” Ee 
R . 
Q'A = lol Q'BV = [0,8], 


其 中 ROOM" ASE BBE F — fi EE. 
12.1.11. i& rER”, yE E”, 8 >0, eR F pin) ga ; 
min. || Ey- r {la 
| E| ss 


IE" min" S "max" ,情况 又 如 何 ? 
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812.2 利用 SVD 选取 子 列 集 


正如 人 5.5 所 介绍 的 那样 , c Pk S LS 问题 min ll Az ljo 
的 求解 可 以 用 


d, 
来 逼近 最 小 范 数 解 | 
tis = 2. nib, r = rank(A), 
Hob l 
A = UEVT = D ouv (12.2.1) 


AA 的 奇异 秆 分 解 (SVD), 7 为 秩 r KAELAKEE, y 
是 min || Az — b |], 的 解 ,其 中 
A; = EEH 

AB A 最 近 的 秩 六 KEE, MEM 2.5.3. 

在 LS 问题 中 用 4> 人 代替 和 相当 于 忽略 了 小 的 奇异 值 . 当 A 
是 从 品 声 数据 中 导出 时 ,这样 处 理 是 很 有 道理 的 .然而 .在 另外 的 
应 用 中 , 亏 秩 意味 着 在 构成 基本 模型 的 因素 中 有 和 宛 余部 分 .在 这 种 
情况 下 , 建 模 者 对 诸如 A er ;这 样 合 有 所 有 的 nw 个 因素 的 预报 可 
能 不 感 兴 趣 . 相反 ,可 能 需要 预报 量 Ay, HP y RAAF +E 
零 元 素 , 非 零 元 的 位 置 决 定 了 A 的 哪些 列 即 模型 中 的 哪些 因素 , 
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FASE Biru ans b. 如 和 何 挑选 这 些 列 是 子 集 选取 问题 ,也 是 本 节 
本 节 的 内 容 建立 在 $2.6 和 第 5 章 的 基础 之 上 . 
12.2.1 EES) QR 方法 


选 主 列 的 QR 算法 可 以 看 作 是 挑选 A 的 线性 元 关子 列 的 一 

种 方法 ,然后 用 这 些 子 询 来 预测 6. 假设 我 们 对 抵 阵 A € > >z Hl 

算法 5.4.1 计算 出 一 正 交 阵 Q MHIE H, tE R = QTAH 为 
上 三 角 阵 .如 果 RO: F, F)2=60:F),6 Q5, 

y = [|], 

则 Ay 是 5 HABER AN 的 前 产 列 的 一 个 近似 LS 预测 值 . 


12.2.2 利用 SVD 


虽然 选 主 列 的 QR 算法 是 处 理 亏 秩 问 题 的 一 种 相当 可 车 的 方 
法 ,但 正如 8$5.5 所 讨论 的 那样 ,有 时 候 SVD 更 可 取 ., 因 此, 我们 
介绍 一 下 Golub, Klema 和 Stewart(1976) 提 出 的 基于 SYD 的 子 集 
选取 算法 ,整个 方法 如 下 : 
。 计算 SVD A = UZVYT, 并 利用 它 确 定 秩 的 估计 F. 
` HETRE P, 使 得 矩阵 B, 的 列 充分 无 关 , 其 中 AP = 
[ B4, B. ]. 


。 用 向 量 Ay MAb, RE y= p^]. €x mnt | Biz 


— b || 2. 
第 二 步 是 关键 .从 
min || Biz - b 1; = | Ay — 6 l2 Z: min || Ax — ó ilz 
7ER 


可 知 交换 阵 P 应 该 选 得 使 残 量 (1 - B Br )b 尽 可 能 小 ,不 幸 的 
是 ,这 样 的 求解 算法 是 不 稳定 的 .例如 : 
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0 0 L L Ü 
r-2,P-I, fi min] Biz-5^|;-0,1H || Bí b42,=001 72). 5 
一 方面 ,任何 包含 站 的 第 3 948g & T 31 SE SERE X PE JG OE TE C 
的 ,但 得 到 的 残 量 却 都 很 天 . 

这 个 例子 表明 在 所 选取 列 的 无 关 性 与 它们 所 得 到 的 残 量 之 加 
有 冲 罕 . 处 理 这 种 冲突 需要 用 到 关于 B, Adeeb a oo (BA 
界 的 数学 性 质 . 

定理 12.2.1 j ACR” e SVD 由 (]2.2.1) 给 出 ,7 = 
rank(A), £ XSF B ERT: 

AP = [Bi Bz |, 


r n—r 
其 中 PCR" tX — AAR. R 
JEAN 
ply = | š i (12.2.2) 
Va Vala- r 
r n- r 
AV dee, a 
uA) c ez, (Bi) S or (A). 
| Vila 
证 明 MM 8.6.1 W hit h a RES SU RARE LF 
fiit m xr. 
为 了 得 到 下 界 , 划 分 奇异 值 对 角 阵 : 
E, Ü Y 
z [o zl, 一 Fr 
p n- T 


12 


| wy} 

o7(B)) = || Byw | = | ozvrP| JE 
ls vrl Vow ll? 

= E, Viw, + | 五 > V iw ils. 


BE Vijw lio lA vgl |, 知 定理 成 立 . ' 
这 个 结果 表明 ,为 了 得 到 一 充分 无 关 的 子 列 集 ,我 们 要 选择 交换 阵 
P 使 得 所 得 到 的 子 托 阵 效 ,; 条 件数 越 小 越 好 . 一 个 直观 的 做 法 是 
HAER VI VS, EE QR 分 解 .这 里 
Vit Vo 产 
v= Lv, Vz | 
r "n—r 
12.2.1) PARE v 的 一 分 块 形式 .特别 地 , 当 我 们 用 选 主 列 的 
QR 算法 {算法 5.4.1) 来 计算 
Q'[Vh,vVÀA]P-[R; R12] 


T n- r 


n= r 


AY, AA (12.2.2) HT 5 


Vu - pron]. MI 
Va V5 RL QT 
其 中 Q 为 正 交 阵 ,P 为 交换 阵 , Ri 为 上 三 角 阵 .注意 ,RI 是非 奇 
HAN Vg loo | Ri 上 >. 直观 上 , 选 主 列 有 利于 得 到 一 个 良 态 


Ry , 且 整 个 过 程 倾向 于 产生 一 良 态 的 Yii. 因 此 ,我 们 有 下 列 
算法 : 
算法 12.2.1 BEM ACER” *H b CR" ,本 算法 计算 出 
一 交换 阵 P, HA 广 , 和 一 向 量 ZC 37 (IRB B= AP 的 前 产 
RERE. || BC F)2-6 ||, 达到 最 小 . 
计算 SVD: UT AV = diag(cl，…，as) 并 存储 V. 
确定 F, r <rank(A) 


—>— a Ób” n —  * ——— r sauna. warata rr d | 


用 选 主 列 的 QR 分 解 计算 TVG, £)'P-[R, Ryo] 
并 分 划 

AP = [B,,B;],B, € "7, p, € non?) 
E xk "使 得 上 5- Biz || = min 


例 12.2.1 
3 4 1.0001 17 
w — 3.0002 _ 1 
2 5 2.9999] ’ 1 | 
-1 4 5.000 1J 


从 a4 (A )990.0001 的 意义 上 讲 ,4 接近 于 秩 2 REL ARSE 12.2.1 
中 令 Z = 2,4 x-[0,0.2360, —0.0085|7, X £ || Ax -b ll; 
—0.1966, € M MEX P=([e3,e2,e,]. 注意 ris = | 828.1056, 
— 827.8569 ,828.0536 | , 48 EE 85 9X, 59 || Axis b || 2 = 0.0343. 


12.2.3 列 无 关 与 残 差 的 进一步 讨论 


我 们 回 过 来 讨论 列 的 无 关 性 ES 3E TC [Ha] f nh R ul RC. 
别 地 ,为 了 评价 上 述 子 列 集 选取 的 方法 ,我 们 观察 一 下 间 量 y 的 
BRE r= b— Ay = 6, - Biz = (1 — B B? )5. 这 里 Bi1=B(:,1: 
F),B — AP. 为 此 ,比较 r, Sy, T6- Ar Rew AWAD 
BUR T 阵 ,而 rr> 为 最 近 的 秩 六 LS 问题 mnl Avr 一 五 | :之 
解 . 


定理 12.2.2 wRr, Sr, de EX, Vik PTV P 
广 顺序 主子 阵 , 则 


Or (A 1-— 
|z, cnl TERES Vit Dol. 


证 明 HER rn —O- WV Ul) 5 r,=(I- Q Q1)b 其 中 
U = [U U; | 
r 


nwt r 


R.(12.2. Db EE 的 一 种 分 块 形式 ,O =B (BTB) 2 AM 


定理 2.6.1, 有 
| rp ry lox | uut - ggi lale 1; 


= | U3Qi lal 6 fs. 
再 由 证 理 12.2.1 4m 


T T T 1⁄2 M" d. 
l U2Q, |: 1 USB, || HB (BiB) | 2 E G> (A) a> (Bi) 


oy (A) 


< (A) | War la. [] 


Hill re, nlla Biy- > (wu)ui 12, 我 们 可 以 看 出 定 


理 12.2.2 ET Biy 预测 向 量 5 的 "稳定 "部分, UT b 的 精确 程 
RE. FE Ulb 的 办 法 都 会 导 至 范 数 很 大 的 解 .此 外 ,定理 也 说 
HF aor (A)r (A) 则 任何 合理 的 无 关子 列 集 实 质 上 都 会 产 
PRASAD Re. AA MRAP CARA ARS 
距 , 则 确定 六 的 值 变 得 比较 困难 , 朵 而 整个 子 列 集 的 选取 更 加 复 


J ER 


12.2.4. BH ACR’ ™*, | uTAl—c.ulu-cl,UEBHLE e (Ar — b) 
=0,¢# cE 8", bER W | x | celal hls. 

12.2.2 iH: A BCR HAC" He FAR. GL (B= 
s (A). 

12.2.3 在 方程 (12.2z.2) 中 ,我 们 知道 矩阵 


Vi Va 
— —— - F 


H 
Fa V» 


-~ -= 


r ff — F 


p'y = 


Je TF SOR. AU MA CS 分 解 {定理 2.6.3) 知 上 Vir | 2= | Vi a. aL A 


infit v L, v D 1AIPUS E09 QR 算法 计算 短 阵 已 (对 F >n NEUE 
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书 中 讨论 的 技术 更 经 济 ) .将 此 观察 用 于 算法 12.2.1. 
本 节 注 释 与 参考 文献 
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812.3. SEDE S XE 


极 小 化 问题 min | D (Az - b) |a, HP ACR""",D-— 
diag( d, ,dn) 非 奇 ,可 重新 整理 为 ; 
min ,) | Dr la, rcx". (12.3.1) 


b+ r C range 


TE fo) Ki rH E e BE H kE Mays Br p 有 误差 . SH UA 也 
有 误差 时 , 则 更 自然 地 考虑 如 下 问题 : 
mn  |D[E,rlTlz. E€ R=>xm y € Rm, 
5+ r Ë rangel A4 E) 
(12.3.2) 
其 中 D =diag(di,d;,- sdm) MI T = diagl tis 22,77. taa DARIE A 
5t. Golub 和 Van Loan (1980) 计 论 了 这 类 问题 , 称 其 为 整体 最 小 
—3SR(TLS) HA. 
若 能 找到 (12.3.2) 的 -- 个 最 小 点 [Eo,roj, 则 任何 满足 (4 十 
Eg)x = b+ ro 的 都 称 为 TLS 解 .然而 ,应 该 试 识 到 (12.3.2) 可 


能 根本 无 解 .例如 ,对 下 列 和 矩阵 和 向 量 


— n sh Tara r rr pp A > 


1 0 1 0 Ü 
A-|0 0|,6=11|/,D=1,,T=%,E. = |0 el, 
il £ 


M Ve 20,65 € ran( A + Ec). HEM b + rE ran(A + E), 
| Ear || Ae fa. 

FRAT AE LAE CI2.3.2) JP BA TA AT. RB BT 
B E.R™** ,我 们 得 到 如 下 问题 ; 

aan eas | DIE RIT I F (12.3.3) 

其 中 EER”””, RER"”*, HEF D=diag(d,,°',d,,) Al T = diag 
(t ott AERE SE UCET Eo, Ro] IRE BE CI2 3. 3) RO RE , MT fi] #8 
JE(A+ Eq), X= (B+ ByUBIRS X CR" "389559 (12.3.3) 89 TLS 
解 . 

本 节 讨 论 TLS 的 一 些 数字 性 质 , 并 证 明 可 用 SVD 来 求解 . 它 
需要 第 五 章 作 预 备 知 识 . Van Huffel 和 Vanderwalle (1991) 的 专著 
对 TLS 作 了 详细 的 讨论 . 


12.3.1 数学 基础 


下 面 的 定理 给 出 也 右 端 向 量 的 TLS 解 的 存在 惟一 条 忻 : 
定理 12.3.1 设 A,B,D de T Je EPpSE, BAR mno hb, 
4ZxXc-nDA.B]T-[C,, C], €H SVD BAA: UTCV = 


n 
diag(a, 7,0444) = E, 其 中 
Vir Mu [^ Ü y 
n k n 
如 果 5, (C1) o, 4 4(C) , BE +e F 3L 8548 H-[ Eo, Rol: 

Di Eg, Ro]T =- U.X,[ VL Vi) (12.3.4) 
J (12.3.3) 的 B. AX Ti = diag(ti, P" ta), T- = diag (f,41> "tta 
£444), FI 4E TIE 


U = U, U], V = | 
n Ë 
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Kns =- T,Vi Vz T> ! 

SABXGES(A-CEQX-B4 Ro 的 惟一 和 解 ， 

证 明 我 们 先 从 假设 c. (C1) 这 gj411(O) 得 出 两 个 结果 .由 方 
PE CV = UX AC Vot CVn = U,X,. 我 们 希望 证 明 Vy» 是非 奇 
的 .假设 存在 GS SE r EI Vy z = 0. A VD VI + 
VLVo.o= I | Vor |22 1. BÆ ua, (0) | U,X,x || > = 
| Ci Vioz foes, (C |Y. K ERES IS. Pd T RF Y2 非 奇异 . 

从 (C1) 之 gw11(C) 可 得 出 的 另外 一 个 事实 是 关于 o, (C) 
与 oan+1CC) 的 严格 分 离 . 由 推论 8.3.3 Hl o, (CO o, (C1), 因 而 
a, Ca Ci) > 0, 4 (C). 

现在 我 们 来 证 明定 理 . 如 果 range( B+ R)C ranC A + E.) , Wi 
存在 X€ 2 SEISCA + E)X - B+ R,B 


IDLA,B]T + DLE. R]TIT-| > |- 0. (12.3.5) 
EET: 


因此 在 夫 括 号 内 的 矩阵 之 秩 不 超过 n. AE 2.5.3 的 讨论 中 可 
证 
ate 
| DLE, RIT ||» Ze >) 4c), 

r— mtl 
R34[E,R]-[Ej, Ro ]HI n] 35 SJ F SER o, (CD) a, (C) 
ERIE SL Eo, Ro] E — BJ Et Fe. E RE 

IDIA,BIT* D[E,,Ro]T| = U,2,0Vh VÀ] 
V 
的 零 空间 是 | ， | 的 像 空间 .因此 ,从 (12.3.5) 可 知 , 对 某 个 大队 


12 
22 
阵 S, 有 
v 
r NL MZ 


从 方程 Ti X= V5 A-T != VS 可 看 出 $= - Vi! T; A 
此 上 必 有 
X = T,V5 =- T, V, Vl Ty! = Xis. 口 
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WE o lC) = oy C), TLS AAMU Bë R I, BARDO E E 
惟一 的 .在 这 种 情况 下 ,希望 找到 它们 当中 的 "最 小 范 数 解 .为 此 ， 
fess ee bee z UK: | Z = | Ti 'ZT |2. p X H 
(12.3.5) 给 出 , 则 从 CS 分 解 ( 定 理 2.6.3) 可 知 

| X22 | vevzž l= Cl - a(Vo)2)/o,( Vo)2. 
这 表明 在 定理 12.3.1 ER V. fii o, Vn DA SURE K. 


12.3.2 大 =TL 时 的 计算 
现 介 绍 一 下 当 上 =1 这 一 重要 情形 时 如 何 使 Y> 最 大 .假定 阵 


C 的 奇异 值 满足 c, p 2 G, ptr = 6, + 1: XÍ V HERA: V = 
[v,, 92,7 ea] BON Householder 阵 使 得 
~ W Zn 
Vesnt1-pint DOs [0 “| 
p 1 


则 在 空间 span si- pos Das! BRA HTH BRA, | | 的 第 n+1 
个 元 素 最 大 .车 4a 一 0, 则 TLS 无 解 .否则 ,zs= — Ties ia). 
WA. 


L0 
Ds ^ Jutta srw] , -|- E, 
0 Q 0 


DIEs,rslT =- pia.oir|* JL a]. 


综 上 所 述 , 有 下 面 的 算法 : 

算法 12.3.1 BERK ACR "(mm >n) bER”A EFA 
M D=diag(d,,d2.°-.d, ), T =diag(t,,t2.-yt,41). PRR 
算出 { 如 果 有 ) 一 向 量 rus C R" ff (A + Eg) x = b + r, E 
| DLEo rojT 5 最 小 . 

计算 SVD: UT(D[A ,bjJTOVY=diag(o1,… ,041) 并 存储 V. 

Fk p WS oL RO, pO Ga pr 884]- 

找 出 Householder M- P ARE V = VP A 
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V(n+l,n- p+1:n)=0 
if Unti, n10 


for ; —1*z 
+; = — tov, saa (Le rlUa+1.n+1) 
end 


end 
此 算法 需要 约 2rmn? + 1252? 个 flop, 主 要 花费 在 SVD 的 计算 上 . 
12.3.1 TLS 问题 mins blesri ip, He? a =[1,2, 
3,4)", b = £2.01, 3.99, 5.80, 8.30]T, MA rts = 2.0212, = 
[ - 0.0045, — 0.0209, — 0.1048 3.0855], r = (0.0022,0.0103, 
6.0519, —0.0423]T. 注意 ,对 这 组 数据 ,LS 解 为 rts=2.0197. 


12.3.3 几何 解释 
可 以 证 明 ,TLS 问题 的 解 rrrs 使 得 
z 
Wa = Mai jas = -b| 


zr Ti r + tz 
达到 最 小 ,这 里 al 为 A 的 第 i 行 ,5 是 b 的 第 i 个 元 素 , 从 这 里 可 
Tidi TLS 问题 的 几何 意义 .事实 上 , 数 
| ale 一 b, |? 
zT? + Laat 


是 向 量 | er arah 


P. = W. so ERD aa 


Tyr BU ux BUE BOR. FS ERE | Z || = | Te | ;, 这 方面 
有 有 大量 的 文章 , 见 Pearson (1901) 41 Madansky (1959). 


习 题 


12.3.1 考 虚 TLS MÆ (12.3.2), 5B E. D AT EAR. (a) 证 明 : 车 
* 092 a 


ee LP U T u — ru 


rank( A ) 2,08 (12.3.2) 45 9⁄6 5 R fg 5 € ran CAD. (bE : # ranki A) — 
n E ATD^5-0 R| z, | E Dó loo, CDATOBICI2.3.2)30 88 , 3X. T, 
= diag( t, 77,1, ). 

12.3.2 WEB. C=DLĻA,b]T=[A dl E z. (C) s,, C), BJ 
TLS 的 解 满 足 : CAT A: -opal CY D = Ald. 

12.3.3 WAAR f B E 的 前 p 列 为 零 的 附加 约束 下 如 何 解 
(12.3.2). 


本 市 注释 与 参考 文献 
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S. Van Huffel aud H. Zha (19933. “An Efficient Total least Squares Algonthm Based On 
a Rank-Revealing Two-Sided Orthogonal Decomposinon, Numerical Adgorithins 4, 
101—133. 

C. C. Paige and M. Wei (1993). "Analysis of the Generalized ‘Total Least Squares Prob- 
lem AX- B when Some of the Columms ate Free of Error," Numer. Math. 65, 177— 
202. 
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$12.4 利用 SVD 计算 子 空间 


有 时 候 需要 了 解 两 个 给 定 的 子 空间 之 阁 的 关系 .他 们 有 歼 近 ? 
它们 有 交 吗 ? 它们 中 的 一 个 可 证 转 成 男 一 个 蚂 ? 等 等 ,本 节 将 前 
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BA an fap] SVD 3 lol 2 M| 3 d [o] i dk HB T St A A E 
*B eT mid. 


12.4.1 子 空间 的 旋转 


假设 ACI’ “2 是 经 过 一 系列 实验 所 获得 的 数据 算 阵 . 如 来 
pubs ES —3 sd aS RE BC ER"*?, EIE AS Pro- 
crustes 问题 中 ,要 知道 B 能 否 旋 转 成 4. 可 求解 如 下 间 题 ， 

min || A — BQ || r, 

s.t QTQ = 
我 们 知道 ,矩阵 的 迹 是 它 对 角 线 元 素 之 和 .因此 有 Tr( CTC) = 
| Cll 2.8 Q 的 正 交 性 有 

| A — BO ||? = trCATA) t (BTB) - 2u(Q'!BlA). 
因此 ,{12.4.1) 等 价 于 使 (Q B'A MRAM. 

使 tt (O'BTAD RAH Q niii xt BLA 的 SVD RUN. A 
UBTA)VY= 且 = diag(o1,… ,dy) 为 奇异 值 分 解 ,定义 正 交 阵 Z 
= VTQTU, 则 


(12.4.1) 


tr(QTBTA) = u(Q'UEVD = (ZZ) = Y 2: < =< < Da 


GR, 4M O=UV'H,Z=F,, EXER I. 由 此 可 得 下 述 算法 ， 
算法 12.4.1 GHA JR BC R77 P ARR EEI A- 
BO || AAR HERE Q C RP 
C=B'A 
计算 SVD:U'CV = N, Aik UF V 
Q = DY 
解 矩阵 OR BA BJ ESC f, A 4.2.10 ñ 
ËJ 12.4.1 
_ [0-999 — 0.0126 
0.0126 0.9999 
f 
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12 1.2 2.51 

3 4 2.9 4.3|| 
Q 一 

5 6 5.2 6.1|i 

7 8 6.8 8.14 |F 


达到 极 小 . 
12.4.2 零 室 间 的 交集 


W A CIR" A BCRP 给 定 ,考虑 如 何 寻 找 null (CAD 
null( 号 ) 的 一 组 标准 正 变 基 . 一 种 方法 是 计算 


cla] 


的 零 空 间 .因为 Cr=0 S z€ null( A )[1null( B). Am, 33J HI Fi 
的 定理 可 得 到 一 个 更 经 济 的 算法 ， 

定理 12.4.1 jk AC R7" |x sum EX null( 和 站) 的 一 组 标 
准 正 变 基 .定义 也 二 zl, 令 | wl w A null BZ ) 的 一 
HEREZE, A F BORE. X W=— [zo w] B] ZW 的 列 
构成 了 null( A) (1null( B) $3 —284:& iE X X. 

证 明 AHA AZ =0 ABZ) W —0,£&t ran( ZW )C nullCA ) [1 
null( B). W x € nullC A )[1null( B) , WEERA 0 的 a CIR, fi f 
x= Za EE, B 0= Bx = Bea WED EREI a = Wb. PW LL + 
= ZWbt-ran( ZW). O 

算法 12.4.2 BRAC" BCR" ,本 算法 计算 出 一 整 
js RHEMV=[y, oy | ,使 得 了 的 列 正 变 且 张 戌 空间 null( 和 4) 
Mnl B). 3 Zo 3E zz 8], 8) $—0. 

计算 SVD: ULAV, = diag(o,) , 45-88 V4 ,JE4- r= rank(A ). 

if r< x 

C= BVa(:,r+l:n) 
计算 SVD: UICVe = diag( y, ) ,存储 Ve, 
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ganr 

5—n- r q 

Y= Vall r+ lindVeC gt lin-r) 
else 


end 
此 算法 的 计算 工作 量 依 赖 于 数 m,n ,p 和 +r 的 相对 大 小 . 

我 们 指出 ,该 算法 的 实现 需要 一 种 决定 何 时 忽 路 奇异 值 #; 的 
策略 . 当 用 容许 值 G CPI 0; «85; = 二 0) 时 ,意味 着 在 A 他， 


== | B Y |= 的 意义 下 计算 值 YKI JLE ET AGB I 
共同 零 空 间 ， 
例 12.4.2 


1 -1 1 4 2 0 
A= |1 -1 1 和 B= 1 1 0j, 
] -1 1 3 


7j null( A) Q null(B) = span{2},2=[1,-—2,-3]'. 用 算法 
12.4.2 计算 ,得 


_ 0.8165 0.0000 0.2673 
— 0.3273 ° 
VoaVoc= |- 0.4082 0.7071 Ë - 0.5345 


-0.4082 0.70731] 0-949 — 0.801 


1 
== 0.2673 | i 


12.4.3 子 空间 之 间 的 夹 角 


FAG 为 R" 中 的 子 空间 ,它们 的 维 数 满足 : 
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—— ——— 一 OC 一 一 一 一 一 一 


p = dim(F) = dim( G) — g £1. 
FAG [B8 Ef£9,,-,0,C[O, x /2 0E X AMT: 


cos( 8,) = max maxu! w = ulu 
acr reU 
s.t. Pal = lel =1 


viv, = Ü ; = 1: Ë -l1. 

注意 , EW BOS =<. S< ELE lay, ws| 和 
low, u | 称 为 空间 F tj G ERI dE ED. 

士 角 和 主 向 量 问 题 在 统计 中 有 午 要 应 用 .最 大 的 主角 与 我 们 
在 2.6.3 节 中 讨论 过 的 等 维 数 子 空间 之 间 的 距离 有 关系 .车 p = 
7, 则 dist(P,G) = 1 — cos (0,) = sin(0,) . 

如 果 Opole” PMG, € 2 7 94) Bl a F H G 的 标准 正 
ZE A , MI) 


max max 4 v = max max y (Qgio)z. 
HEF “wË yer” agg? 
he =i ilell,=d vyll,=1 ri =! 


从 定理 8.6.1 给 出 的 奇异 值 的 最 太 最 小 特征 中 可 知 . E 
Y(QiQo;)Z = diag(oi.-.o,) © Q QG 的 SVD, 我 们 可 定义 ug, 
v,,0, 如 下 : 

LIN = Q,Y, 

Lup. ty ] = QuZ, 

cos(0,) = oj, Ë = 1: q. 
一 般 的 说 来 ,空间 下 和 G ARE S; E $R [F A € = “P RI B € F< 9 
的 像 空 间 . 在 这 种 情况 下 ,所 要 的 标准 正 交 基 可 以 通过 计算 这 两 个 
矩阵 的 QR 分 解 得 到 . 

算法 12.4.3 BEEE ACA tB EU pg) A 
都 列 线 性 无 关 , 本 算法 计算 出 正 交 阵 US [ui U a, ], V = 
[ots u LR cos(@)) cos (9,0, EP 0, 为 ran( A) ran( B) 
2A HEA u 和 vw 为 相应 的 主 向 量 . 
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用 算法 5.2,1 计算 OR 分 解 
A = QARA, QAQA = ip Ru € PXP, 
B = QRR, QWs = 1,, Rp € ko”, 
C = QiQ,. 
计算 奇异 值 分 解 :YICZ = diag(cos( 6, )) 
QAYG, L: q) = [uio nl 
Qu = [vs v. 
ASIE Amig’ +2p7) +2 palin + q) t 129? + flop. 
利用 SVD 计算 主角 和 主 向 量 的 思想 出 现在 Björk 和 Golub 
(1973) 的 文章 中 .他 们 还 讨论 了 A ALB 亏 秩 的 情况 . 


12.4.4 子 空间 的 交 


算法 12.4.3 也 可 用 来 计算 ran( A) ran C B A SR AE IF 26 dE, 
其 中 ACR” BER”, 

EH 12.4.2 dE [coslh ue vt 129 B X 12.4.3 产生 
的 主角 和 主 向 量 . be RI s E MU 1080601), = -:: = cos( 0,) 
> cost 6, +1) ER 

ran( A) f] ran(B) = span | :&,***, us| (1 spani vi, t, vs |. 

证 明 注意 到 , 若 cos(0,)= 1, OA u, — o, A TRE RE RR 
ME. L] 

在 非 精确 的 运算 下 ,在 算法 12.4.34 A SETAREA 
1 的 近似 重 数 . 

例 12.4.3 如 果 


1 2 1 
^ I : | | ° i : i | 
则 ran( A fe ran( B) 8] 65 EA ei A 1.000 Fe 0.856. 


>J 题 


12.4.1 DA: A MB E m x p RE, pm, W 
= 699 . 


— T ——.y, _ s mrraa—aarrr rrrr 


min IA- BQ | = X Ce (AP - 25874) + s (0). 


q a= " 
12.4.2 HE) BE 12.4.2, eS BE Be TE TE mull ALD F1 C null A289 8 
HE TE 38 Me. 
12.4.3 EJ fik 12.4.3, 使 之 能 处 理 A B SRA. 
12.4.4 DOME raat AUS ran( BISA R fi Ri EPS PA X Hürfü 
[5] 88 (7 55 GE AE SHA 


O ATR) ry A'A D y 
‘nia 0 jel- 0 pali 
12.4.5 Wt A,BCH"^",H A FIM FR. HARE X € 
E "(bi |l AX - B || , 达到 最 小 [提示 :计算 A 的 SVD). 


本 市 注释 与 参考 文献 
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812.5 KERFA AY 1 IE 


在 许多 应 用 中 ， 当 一 第 阵 AGS“ fE t hh E X PB th DR 
小 后 ,需要 重新 进行 分 解 .例如 ,我 们 知 A 的 QR 分 解 ,但 有 时 会 
需要 它 作 如 下 变化 后 的 QR 分 解 :ta) 给 A 加 上 基 个 秩 1 矩阵 . 
(b) 添 加 A 的 一 行 (或 列 }. CMA & 的 一 行 或 一 列 , 本 节 将 说 明 
存 这 些 情况 下 ,修正 A 的 QR 分 解 比 重新 开始 求 QR 分 解 要 有 效 
的 多 .我 们 还 将 介绍 当 一 矩阵 增加 一 行 后 如 何 修 正 它 的 零 识 间 . 

在 讨论 开始 之 前 ,要 指出 的 一 点 是 :也 有 一 些 技术 来 修正 下 列 
分 解 ;, PA = LU, A = GGC1,4= 工 DLL 然而 ,对 这 些 分 解 进 行 修 正 
更 为 精细 ,因为 有 时 需 选 主 元 以 及 当 处 理 正定 阵 时 ,变化 后 的 矩阵 
往往 不 正定 . US Gill, Golub, Murray 和 Saunders (1974) LA 及 
Stewart (1979) . 根据 他 们 的 思想 Fe fg E itie X HE S RE 
在 Cholesky 还 原 问题 中 的 应 用 ， 

本 节 需 要 熟悉 83.5,.84.1,8$5.1,$5.2,$5.4 及 85.5 中 
的 内 容 . 补 充 阅 读 材 料 见 Gill, Murray 和 Wright (1991). 


12.5.1 秩 1 修正 


ERIE 84% OR = BER"*". 现 要 求 新 的 QR 分解:B 
+uol= Q R AP £C: =" gl C R" Np Ami. FABRA 
Ws 

B + uv! = Q(R + wo), (I2.5.1) 
其 中 w 二 1x .假定 已 计算 出 旋转 阵 1,… J; . J! 使 得 
E 701 = 


— ras. h wr E. 


上 re =+ | w | ze. 
其 中 每 一 J 是 作用 在 第 列 与 第 上 + 1 列 之 间 的 旋转 阵 ( 详 风 算 
法 5.1.3). 34 3x 98 Givens RAPE ROS, F] BE 
H = Jl Jl R (12.5.2) 
为 上 Hessenberg PE. IRN n — 4 的 情形 ,开始 有 


x X X X x 
0 x X X x 
R = w= . 
0 0 x x x 
0 0 Ü x x 
AE FA Fe ET: 
x K X X [X 
RoR? 57 75. wose |. 
0 Ü x x LN 
X X X X x 
eum ae 
-0 QO x x 0 
x X X X x 
TS [X X X X = r i0 
H = J;R = 0 x x x" w = Jpw = Q 
-0 Ü x x 


因此 ， 
(TE. JI CR + zl) = H + li TU | seju! = H, 


(12.5.3) 
为 上 Hessenberg 阵 . 

在 算法 5.2.3 中 ,我 们 说 明了 如 何在 O(n?) 次 浮 点 运算 内 计 
算出 一 个 上 Hessenberg PEAY QR 分 解 .特别 地 ,我 们 可 找 出 Givens 
旋转 阵 G. E= lla - 1, 使 得 

. TO2 + 


`— u... rra | 


G] GiH, = R. (12.5.4) 
为 上 三 角 阵 .把 (12.5.1) 和 (12.5.4)? 结 全 起 来 得 到 QR 分 解 :B + 
wol = Q R í rp 
Qi = WG 
仔细 的 分 析 可 知 这 需要 约 2622 个 flop. 计算 向 量 w= Qu 要 
28 个 Bop, FE. H 3E LJ, FeSO LG 122^ 个 flop. 最 后 ,计算 
R, 并 把 G, RENO 上 需 1227 个 flop. 
这 一 技巧 对 B 为 长 方 阵 的 情形 也 是 适用 的 . 它 也 可 推广 到 B 
+ UVT If] QR at, KP rankC UV") = p» 1. 


12.5.2 增加 或 删 去 一 列 的 情况 


假设 已 有 QR 分 解 : 
OR = A = [a,,,a,],a, € R^, (12.5.5) 
把 上 三 角 阵 R C REM FAR: 
R1 U Ris| k-i 
R= | 0 pé d 1 
0 0 Rs lm 一 中 
Ë — 1 1 m — Ë 
FRRNE it A FRE QR 分 解 : 
A = [ayy ag ls sa] € ROD, 


RAZA 中 删 去 第 列 所 得 , 且 


Ri R 
O'A=/0 wr|= 


0 R4 
为 上 Hessenberg 阵 . 例 如 ， 
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ec coon x 


ge, AX Hs 38 B) OT ff] zú hel tUa, 
Givens 族 转 阵 化 为 零 : G1 j 


oeeo Go xX X 


Ü 


oc X x X x 


0 


eX X OX X X 


Ü 


x x< X X X 


o 


i, m = 7,n = 6,2 = 3. 


h,. -, 8] H] — 3& 71 B8 
GIH = R,.iX € G, 是 作用 在 第 : 


列 与 第 i + 1 列 之 间 的 旋转 阵 ,i = 二 :x 一 1. 因 此 ,车 Q, = QG,- 
G, |, A = Q,R, BAM QR 分解. 

E fart MEE RE n] BRI O(n? Gia BK SER , EENE 
的 最 小 二 乘 问题 中 很 有 用 .例如 ,为 了 检验 基本 模型 中 第 大 个 因 
素 的 重要 手 , 可 以 在 矩阵 中 删 去 此 列 , 并 解 乘 下 的 LS 问题 . 

同样 ,能 够 有 效 地 计算 矩阵 A 增加 一 列 后 相应 的 LS 问题 的 
解 也 是 很 有 用 处 的 .假设 已 有 分 矢 (12.5.5), 现 要 计算 : 


A = [el 


CE 


的 QR 4Hg,H'Bzeg"pa. u = Q 1: ,Wj 


QTA = [Q'a,,-- 


Ql ap w, Q apie 


Qa, | = A, 


除了 第 六 +1 列 的 合子 外 , 它 是 上 三 角 的 ,例如 : 


| 


x x 


oo oc = 
ecco x 


0 0 


可 以 找 出 Givens gd [A J 
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= 5 c x X X 


= 


x 


x X X X X X 


c 2 5 x X< X X 


X 


x 
>x 
x 
x 
0 
Ü 


I SUA 1 使 得 


= fy PE. RRRA LE ñj ATEA 


— 


-RAE 


JT uA 


A diay 


XX — KA. 


x x X x X| 
0 x x x x x 
0 Ü X x x X 
Xj, 
0 0 0 x Q x 
0 0 0 0 0 O 
0 0 0 0 0 0 
x x x x x 


X 


Ü x x x x 


0 0 x x x x 


0 0 0 0 x 


0 0 0 0 0 x 
0 000 Q0 


rar — À —r- a. Turu Tc inl 


ICE IE AN te Omn) T Mop. 
12.5.3 增加 或 删 去 一 行 


_ n 
(iz 3 OR 分 解 :QR = ACR" WERA = P | 的 


"D r. Tr 
QR 分 解 ,其 中 we.” ESE diall, Q DA = P |-n.n X F 


Hessenberg PE. 因此 , f 4 Hj Givens 旋转 阵 Jise, J, HB 
JTH = RR 为 上 三 角 阵 .由 此 可 知 二 OQ1RI 便 是 所 要 的 QR 分 解 ， 
其 中 Q= diag, Q)ie Ja. 

如 果 在 A 的 第 行 与 第 上 + 1 行 之 间 增 加 新 的 一 行 ,更 新 分 
和 解 没 有 本 质 上 的 困难 .只 要 在 上 面 的 步 双 中 以 PA ICHA, PO 
KOH 

O EL... 
p = P i | 


fW. diag(1, P9, 就 是 所 要 的 正 交 分 解 因 了 了 ， 

最 后 ,我 们 考虑 一 下 当 A 的 第 -- 行 山 去 时 ,如 和 何 更 新 它 的 QR 
分 解 . 确 切 地 说 ,我 们 希望 计算 出 于 第 阵 A 的 QR 分 解 ,这 里 

A= [I 
A;im-l 
( 圳 去 任意 一 列 的 情形 是 类 似 的 ), 令 a 为 Q 的 第 一 行 , 且 计 算出 
Givens FF G,,---,G,, -1 使 得 
Gl:-Glaq = ael a =+1. 

注意 
o 


H = G|: GA R = | 
Ry 


m—\ 
是 上 Hessenberg Ft. H 
ae 0 
QO GL = » M 
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re 下 à 


是 正 交 的 ,其 中 Q € vn PX) py, 


A= NE (QG, Gy) (GT Gan ,R) = É o. >] 


Mae A -OR 就 是 所 要 的 QR 分 解 ， 
12.5.4 WARE 


我 们 曾 提 到 过 分 解 A = QR TH“ R” ATA = GG 中 的 
Cholesky 因子 . 因此 ,在 刚刚 讨论 过 的 QR 修正 算法 与 Cholesky 分 
解 类 似 的 修正 问题 有 非常 紧密 的 联系 . 我们 以 Cholesky 还 原 问题 
来 说 明 这 一 点 , 它 相应 于 在 QR OE PIA A 的 一 行 的 情形 . 
在 这 一 问题 中 ,已 有 Cholesky 分 解 : 


T.T 


' ~ zT 1Tr oT 
GG = À A= A AU (12.5.6) 
1 1 


其 中 AER””” m>n,zER .我们 的 目标 是 寻找 一 低 阶 的 三 角 
BE G, 使 得 G GT= ATA1. 对 这 个 有 趣 而 重要 的 问题 有 好 几 种 不 
同 的 途径 来 处 理 . 现 给 出 一 个 依赖 于 双 则 变换 的 还 原 步 枝 , 它 可 以 
引进 一 些 新 的 思路 . 

我 们 从 一 个 概念 开始 . 阵 HER” 称 为 关于 符号 阵 $= diag 
(+1) E36 ,3% HTSH =S.M(12.5.6)4 ATA = ATA í + 
z2 = GGl,T 


P d 


G] 


于 上 


, L 0 
ATA, = ATA ~ æ! = GG — «T = [G 2b |i 
= T 


E XI S E 
I, O 
sS = ] | (12.5.7) 
假定 能 找到 阵 HC RU Xo Dee HTSH = S, BAPE: 
gi GT 
H|“, |> | 1 | (12.5.8) 


为 上 三 角 阵 .由 此 可 得 ; 
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—n MU hT 


T + G" G, T 
ALA, = [Gz]H sH| |- [G, ols 0 I= G Gi. 


这 就 是 所 寻找 的 Cholesky 分 解 . 
现存 我 们 说 明 在 (12.5.8) 中 怎样 利 出 双 晶 旋转 构造 双 蛙 变 猴 
阵 ,一 个 2x2 的 双 曲 旋转 具有 如 下 形式 : 
_ | cosh (8) Kap dË | C °]. 
—sinh(0) cosh (0) — s ¢ 
注意 ,如果 下 人民 ”是 一 双 曲 旋转 阵 , 则 HT SH = S$, 其 中 S$S= 
diag( — 1,1). 和 Givens 旋转 阵 一 样 , 双 曲 旋 转 阵 也 可 用 来 消去 元 


素 .从 
,i 


可 得 方程 crz = sx, TERE x) = 2 70, H; Jy PETAR , x< HHI 8 56 
阵 在 数值 上 不 如 Givens 旋转 阵 那么 稳固 . 若 rp Ary WUT TR HS 
相应 的 cosh-sinh X : 

if +, = Ü 


else 
fix |<) xy | 
T = EX C = 1/1 is = cr (12.5.9) 
else if | z, l< | x2 | 
t= x(q/x4:5 = V1 - dic = st 
end 
end 


观察 可 知 , 这 一 算法 产生 的 双 曲 旋转 隆 的 范 数 随 着 zi 趋 近 于 x; 


而 变 得 越 来 越 大 . 

设 矩 阵 H-H(p,ntl1,0)€ Rn xin 除了 元 素 hp = 
hn+t,n+1= cosh(#), Ay nti = Aati p = 7 sinh(8) P, j B fz PF H 
同 . 则 必 有 HITSH=S, 其 中 S 如 (12.5.7) 所 述 .利用 (12.,5.9), 我 
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i se UVP a s EPE 


(Ast k=2:n+1 SRA ARE H= HO, 2,0, 188 


GT GT 
mlS- E] 
如 果 A 是 列 满 秩 的 ,这 是 可 以 办 到 的 . 双 曲 旋转 将 元 素 ( +1028) 


的 值 化 为 零 . 换 名 话说, 若 4 列 满 秩 , 则 可 证 每 次 调用 (12.5.9) 必 
可 产生 一 cosh-sinh 对 , 见 Alexander, Pan 和 Plemmons (1988). 


12.5.5 修正 ULV 分 解 
假设 ACR" RL Pk BJ AAP MSS BJ — £B 3t , Res 
~ A 
X=14]， 


>T 


ERA 52 Hb R Hi À 2Ë Ss EEE? 当 涉及 到 --- 系 列 这 样 的 问题 
时 ,就 变 成 了 跟踪 零 空 间 的 问题 . 子 空 间 的 跟踪 问题 出 更 在 很 儿 实 
时 信号 处 理 的 应 用 中 . 

用 SVD 来 计算 是 很 策 的 方法 ,这 是 因为 重新 计算 秩 -1 扰动 
后 的 矩阵 的 SYD 需 O( n2) flop. Fit, Stewart( 1993) UE BH F ,如 
RÆ 3.5.4 节 中 条 件数 估计 的 思想 与 完全 正 交 分 解 结合 起 来 , 则 
零 空间 的 更 新 问题 可 用 O(n?) flop 来 完成 . 回想 5.4.2 节 的 内 
容 便 可 知 ,完全 的 正 交 分 解 是 从 两 边 进行 的 , E. u] JE ZE JE EE P£ ñ; 
g&: 


T, Ü 
UlAV — | o ; |» Tu € R'^',r = rank( A). 


可 用 一 对 QR 分 解 ( 其 中 一 个 用 到 了 列 选 主 ) 来 实现 这 一 点 .在 这 
种 情况 下 ,精确 的 运算 可 使 T, = L 为 下 三 角 阵 .但 由 于 噪声 和 售 
人 误差 的 影响 ,我 们 实际 计算 成 下 面 的 形式 ， 


L 0 
U'AV = |H ， (12.5.10) 
` 0 0 
` 709 - 


Hep Lee SHEE OK OR = fW. l LIE. 
HAE 是 小 的 短 阵 . 在 这 种 情况 下 ,我 们 把 (12.5.10) 称 为 显著 
ULV 分 解 .车 作 分 划 : 

v 二 [Vi v. j, U=|[U, U; |, 


T Ó—r T TH — F 
W VY 的 列 定义 了 -近似 零 空间 ， 
|| AV; | > =< I! U, E to < lE Il 2. 
我 们 的 目标 是 计算 出 增加 了 一 行 的 阵 入 的 显 秩 ULV Aya] 更 
明确 地 讲 ,我 们 的 任务 是 如 何 更 新 阵 王 , 百 , 百 ,ww 和 秩 数 {可 能 的 
话 ), 且 在 O(n2) 个 flop 完成 . 


注意 到 
Lon] 
pea ° 


变换 最 底 一 行 和 阵 APSE PHYS AUAA, WRATH 
O(n2) + flop 计算 


if 0.0 000 O 
r 1 0 00 0 0 
L 0] é é £f Q : 0 0 0 
. i í D 1:0 0 O ^ 
E "E w he 0 0 (12.5.11) 
y |^ h h hie e Ü 
jh h h hie e e 
m w w wiy y Mj 


的 显 秩 ULV 分 解 .这 里 ,以 + =4 和 n=7 AREER. 
ik, TRA Me 是 很 小 的 ,日 已 经 导出 数值 秩 是 四 .在 实际 中 ,这 
涉及 到 与 5.5.7 节 中 较 小 的 容许 值 比 较 的 问题 . 

应 用 与 12.5.3 节 中 类 似 的 消光 技巧 ,可 用 一 系列 的 行 旋 转变 


[ 注 ] 与 此 对 称 的 是 显 秩 URV 分 和 解 , 存 有 些 情 形 用 URV 形式 出 ULV Bee. 
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换 把 最 后 一 行 化 为 零 元 : 


[* 0 0 0; 0 0 0 
ix x 0 0/0 0 O 
X >x X 0: 0 0 0 
H x x X x10 0 0 
pU [x x x xix 0 ol 
X x x x. x x Ü 
X X X Xx x x 
0 0 0 0:0 0 O 


Pa Ar phi Sea eH Se eT 89253 A PER AO 5 H: fit moo XE 
和 在 一 起 ,所 以 三 角 部 分 一 般 不 是 显 秩 的 .然而 ,可 以 联 兴 利用 条 
件数 估计 和 旋转 化 零 的 技巧 来 恢复 显 秩 的 结构 .假设 增加 一 行 后 ， 
地 空间 的 维 数 为 2. 
用 -可 靠 的 条 件数 估计 量 ,我 们 可 得 一 单位 向 量 使 
l| pT E loo asa (L). 
见 3.5.4 节 .可 以 找到 旋转 阵 {U, 1,19 E 
UGUSUSUTLUNSUDpD = eg = Is(:,8). 
矩阵 H = UL, UR UE UT, US UBL 为 下 Hessenberg 阵 , 它 可 用 一 
系列 的 列 旋转 阵 恢复 为 下 三 角形 式 工 ,: 
L.- HV; Va Vag Vas Vse Vez. 
可 得 
ell, = (ed H) Vi Vac Ver = (pl L) Vi Vac Và 
的 范 数 近 似 值 为 ss, 上) .因此 ,我 们 得 到 一 个 具有 如 下 形式 的 下 
三 角 阵 : 


”7 了 LtL - 


x 0 0 0 0 0,0 
x x 0 0 0 0:0 
x x x 0 0 0:0 
x x x x 000|， 
x x x x x Ü ! 0 
X X X X X X :0 
h h h h h he 


Hp a Me EATER). RITA UI LRP A 6 3€ 6 T Ë 
阵 重复 条 件数 估计 和 赶 零 的 技巧 ,或 许 又 能 得 到 一 列 元 素 很 小 的 


列 : 

x 0 0 0 0:0 O| 

x x 00 0:0 0 

x x x 0 0:0 0 

x X x X 0:0 Ü 

x x x X xX:0 0 

h h h h h x e 0 

h h h h h'e e 
(否则 ,说 明 秩 数 为 6). 继 续 重复 这 - :过 程 , 可 以 把 任何 下 三 角 阵 
变 成 显 秩 的 形式 - 


在 (12.5.11) 中 向 量 y 很 小 的 情况 下 ,我们 可 以 通过 一 种 不 
同 的 更 加 有 效 的 途径 来 化 成 显 秩 的 形式 .我 们 开始 用 一 系列 左 的 
HERI Givens 变换 把 y 除 第 一 个 元 素 外 者 化 为 零 ; 
0 i 0 


Fer Us; 
—— — 


ih om Oo O SC 
‘es x oo = oo = 


8 E > mi - cc 
M E ee mde > =< = 
“< ws < s O ° ° ° 

ing OQococe 


h I Fr Rin o O 
& £m mé eo 


Holm om min = = >° 


Holm mom m 
win a mie@oos 


e 
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"r s — —Ó rr m = r 


— 2 © ç ù 
> — 2 Q ù 
or oiu x 
uo Xl 


这 里 “UD,” 指 第 i 行 与 第 ; 行 之 间 的 旋转 阵 ,“ V, IE i 列 与 第 j 


列 之 间 的 旋转 阵 .观察 不 难 发 现 , 在 这 一 过 程 中 大 数 和 小 数 没 有 混 


合 在 一 起 运算 ,这 一 点 很 重要 .h 和 e 上 的 元 素 , 还 是 很 小 .按照 这 
一 过 程 ,我 们 可 以 找到 一 系列 旋转 变换 阵 把 矩阵 化 成 如 下 形式 ，; 


— 
e 
T 
wy 
e 
— 

— 


其 中 y 上 的 元 素 很 小 : 
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(000000 (4 0 0 0; # 00 
1100/4, 00 ¿ 100: yuy Ü Ü 
1110p 0 0| ii? 0: 00 
Us {i í L iip O Opus Z 2 í l g 00 
lh h h hie e O hh hh e 0 Of 
hh h hie e 0| h h h hi e e D 
h h h hie ee jh h h hie e e 
> 00 0iy 0 vl 000 0 y,. Ü O| 


注意 ,y** 也 是 比较 小 的 ,因为 | |; 范 数 在 旋转 变换 下 保持 不 
28 .(1.5),(2.5), (3. 5 (A. S) LE E. IP] PEE PER B RT E jx 上 的 


元 素 化 为 零 ; 
:000:000 :000.000 
1100/5400 1500000 
i í í Oi» 00 l 1! í 0 2 00 

vs fl d d Pig 0 0 va |i d 1 iiy 0 0 
h h h hie 0 0 h h h h'e 0 0 
h h h hie e 0 h h h hie e Ü 
h h h h eee h h h hie ee 
y 000/540 09: y» y» 0 0: y 0 
i 0 0 0:0 0 0 1.00 0.0 0 0 
i 1 0 area fi 0 0:0 0 0| 
| 1 10,0 0 0 SERRET 

Mag t d et Cip O jys £ ? D 1:0 0 0 
h h h kie 0 0| h h h h.e 9 0 
AAA eO h h h h e e O| 
h h h h e e e| ch h A hie e e| 
ly y y 0:y 0 0 » y y yiy 0 0 


因此 ,这 就 化 成 了 (12.5.12) 中 的 结构 .所 有 y KER, BERE 
小 的 ,所 以 可 用 - FINA TT E 32 SR Us, Oar. B17 把 底部 一 行 
的 元 素 化 成 零 ,得 到 显 秩 的 形式 : 

714 + 


1 00 0:0 0 0 
110 0:000 

1110/00 0 

1: 1 í 01000 

h h h hie 0 O| 
h h h hie e OÜ 
000 0'0 O 

zJ 题 


12.5.1 f R P ACR" "HOR 分 解 ， 现 要 求 极 小 化 问 题 
min | (A taviz- 5l; HE, HF ucRT ,v.33 给 定 , 欠 出 一 个 求解 此 问 
MOAR Om flop HER. 

12.5.2 WA QR ^Y ft QR — A € 7" "^ 给 出 一 个 求 去 掉 A B9 E 行 所 
34 F REA QR 分 解 算 法 , 它 只 需 O(mn) T flop. 

12.5.3 B TOR ESA fx PRB. oC 2", HAG FE HI. Lanczos $t 
法 ,在 OC?) flop 内 计算 正 交 阵 Q C Rn” 4548 QT( T + vo) Q9 = THEM 
角 的 . 


T 
12.5.4 W A- P | eez pEr D** gli ER, m >n, FA Sher- 


man-Morrison- Woodbury 公式 证 明 : 
l ol , | (ATA) e | 
Gal B) aml A) 1 - cl(ATA) 1 
12.5.5 EO 2) Al zz 的 函数 ,(12.5.9) 产 生 的 双 曲 旋转 阵 的 目 - 1; 范 


RE Bebe 
12.5.6 WEH WE A ARE. 12.5.4 PH RPE. 
; ,[R | E Ha 
12.5.7 tasli REE R GE AEP p= A<. 
TETH ^" uie, 
Qa Gn 
[7 Mia ae M - ] 
0 E.-lQa Qz A; Ej 
7S ° 


WW i] H,l sel Wile. 
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812.6 修正 的 及 结构 化 的 特征 问题 


在 本 节 中 ,我 们 讨论 带 约束 的 , 赣 形 式 的 和 结构 化 的 特征 值 亲 
题 ,虽然 它们 并 不 相关 ,但 放 在 -- 起 是 为 了 说 明 如 何 用 前 述 章节 中 
基本 的 分 解 思想 来 解决 某 些 特 跌 的 特征 值 癌 题 . 

本 季 中 各 小 节 与 本 书 有 前 向 的 内 容 之 依赖 关系 如 下 : 


$5.1, $5.2, 88.1, 88.3 ——12.6.1 
$8.1, 88.3, $9.1 —12.6.2 
$4.7, 58.1 —: "12.6.3 
$5.1, $5.2, $5.4, 57.4, 88.1, 88.2, 88.3, $8.6 
-12.6.4 


12.6.1 带 约 束 的 特征 值 问 题 


假设 ACR ™ RR, PR rr) = xlAr/xr x 的 梯度 为 零 当 
且 权 当 zz 为 4 的 一 特征 向 量 .因此 ,r(x) 在 稳定 点 的 秆 为 4 的 特 
征 值 . 

在 某 些 应 用 中 ,需要 找 出 r(x) 在 约束 CTr=0 下 的 稳定 点 的 
函数 值 .其 中 CER”? nS p. Rik 


S 0 
QTCZ = » NI t 200r 7 rank(C) 
r por 


为 HURREE. EE BER” < 如下: 
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—q — —— ——À ——— 


Q'AQ = B= | ME 


DL K 

[u r 
因为 CTr=0 BRT S'u-O.B EB) BEA TESTI uw = 0 FR 
r(y) 2 v By 的 稳定 点 晴 数 值 .但 这 只 是 相当 于 找 出 nn 一 r+ 阶 对 
FRE BA £328 px (8 CREB). 


12.6.2 ATTA 


考虑 在 上 -小节 中 = 1 的 情形 . Wi mma 
rlAr/ri riTEZJECiIr-0 下 的 稳定 点 值 .由 定 埋 8.1.7 Le 
稳定 点 值 把 A 的 特征 和 值 4, 27980 2T3E : 

EE ES UU LAZA < A. 

现 假设 A WEEE SAI], HAC AMA, un AS RE: 

A <a < À, ypc < A. < À) < AL. 
我 们 试图 找 出 单位 向 量 G€ AR, RET As 在 约束 zTr = 1 
和 cITx=0 下 的 稳定 点 入 . 

为 了 确定 ec 所 满足 的 性 质 , 我 们 应 用 Lagrange T'E. 4 es 
数 

Pir, Asg) = rlAx - Arr 一 二 十 2rer ec 
的 稀 度 为 零 , 可 得 一 重要 方程 (4 -A= 一 各 -因此 (和 一 34) 非 
*Hzrx--pB(A-AD ic, 在 这 个 方程 的 两 边 乘 以 eL 并 利用 特 
征 值 分 解 AT AQ = diag(4;), 可 得 


m d? 
Ü 一 一 一 一 ， 
er 


Hi d= @'c, i 
" 719 ， 


——— án rrmrr rr |? alae a r a ee 


pa Yall (À, — 2) = 0. 
注意 ,1= ic 人 = 站 < Wad} +d? 是 (一 4)*!1 的 系数 . 因 
为 站 LA 是 以 11, -1 为 零点 的 多 项 式 , 放 有 : 
plà) = Mà - 2». 
从 pla ) 的 两 个 表达 趟 可 知 ; 
di- Iia - AN -A)»Sk-1:nm. (12.6.1) 


rt 


除了 符号 ,di 可 以 确 定 - 这 样 对 原 问 题 有 2" 个 不 同 的 解 c = Qd. 
一 个 相关 的 着 特征 值 癌 题 是 找 一 个 三 对 角 阵 


a1 py "0 
B az : 


: 7. ". x 
0 = Ba on 
使 得 T 的 特征 值 为 141,…,4,1, T Qi n,2: n) AREER 
1 Any} ,其 中 
Ay >a, > À> Dee >A > Any D> An. 
我 们 说 明 如 何 用 Lanczos 方法 来 计算 三 对 角 阵 T. 注意 ,是 函数 
T 
o) = fe 
在 约束 dTy=0 FREE AIH A= diagr e, An), d H 
(12.6.1). WRR A = A Mg d 运用 Lanczos 3k fü 
(9.1.3) , 则 可 产生 一 正 交 阵 Q 和 三 对 角 阵 下 使 得 OT4O = T. — 
r-Qly,H Adi 
T 
px) 一 Lu 


* 720 -> 


EHR efx =0 下 的 驻 点 值 .这 正好 是 T(2: n2: n) NRE. 
12.6.3 Toeplitz 特征 值 问题 
假设 


是 一 个 对 称 正定 的 Toepliz 4BBE, r CR” 我 们 的 目标 是 在 假设 
Aen T) X Arn G) PUES T Re) E AL, CT). Cybenko 和 
Van Loan (1986) 3 I T RHA, CER S AER 8 py H, 

X 


BD 

a + rly = da, ar + Gy = Ay. 
车 A ACG), W y= -a(G- AI) !r,azO0 E. 

z+ r'[— a(G —ar)'r] = aa. 
AHE a TESTES 

f(A) =1-a-r™G-alytr 
的 零点 .我 们 在 $8.5 和 $12.1 中 处 理 过 类 似 的 函数 .在 这 种 情况 
下 ,了 总 是 有 负 的 斜率 : 

f(y) =-1- ICG - AD x12 x- 1. 

如 果 A< A a (G), BB Bre AC E 9 B : 

f(y) -2-2r!(G - AP) ?r <0. 
利用 这 些 事实 可 证 , 若 

Amn(T) <a™ < ALLG), (12.6.2) 

则 Newton 35 fX 


yee = yin EUÉ 
f(a") 
SAD BARA A... (T). ER 
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—. n. — .—— — Ñ .................................................................................. i i i 


T T 
aD — au 十 L+ r aÓ A 


| + <la 7 
其 中 w nU PEAY Yule Walker 方程 
(G AP Die 一 一 


zie. ANA? < A R GATA G AU E R FE EB). Ali, J E 
# Toeplitz 阵 (G -AP DZO -AT 2 BE 4.7.1. 

i E (12.6.2) 69-30) ha ë PJ LG et Ue A AEC T — an C1 一 
A) 的 Durbin 算法 来 得 到 ,对 此 第 阵 ,“r pm r A aA), P l 
Durbin 算法 (4.7.1) 变 为 ， 


r = r/(l—-A) 
y =- r] 
for £ — 1: # — 1 
B = 1 [£e] (12.6.3) 
op = — (re + TEA G 
zO = y() y a by) 
jo [a0 
yim E. 
ap 
end 


从 4.7.2 节 的 讨论 知 8,,°°,8% >0 BRIE T. (1:5 1,1: 6 + 1) 
目 交 的 .因此 ,适当 地 修正 算法 (12.6.3) 可 用 来 计算 m COE 
使 得 B... 为 正 数 , 但 Ba SO 的 最 大 指标 m. HERE SERE 
区 (A) 二 一 2, 则 (12.6.2) 成 立 . 这 建议 如 下 的 二 分 法 : 
选取 上 4e RETE LSA LACT) < Am GSR 
until => — 52-2 
A = (L i R)⁄2 
m = mA) 
ifm <n -2 
R=L 
end 
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ifm "5-1 
L = 
end (12.6.4) 
end 
HL Ree ta b mm (A) Hn - 2A RA. PBK RR 
时 ,A 具有 这 一 性 质 . 
初 秆 区 间 有 几 种 可 能 的 选择 . — RTE ES L =0,R=1- 
| ry | ALA 
l ri 
O< ACD < Ani) < x. | ||- t-te 
ri 1 
这 里 的 上 上 界 由 定理 8.1.7 给 出 . 
注意 ,(12.6.3) 和 (12.6.4) 中 的 造 代 步 至 多 需要 OCT) 
flop. Cybanko 和 Van Loan (1986) £t iB. T AG O Cogn ) IK RA 
直观 证 明 . 


12.6.4 正 交 和 矩阵 的 特征 值 问 题 


HERES ACK " WA hF (B R 3 GE [6] Bei = REB "PH 
-个 问题 , 见 Cybenko( 1985). A 的 特征 值 都 在 单位 圆 上 ;此 外 
A+A A+A! 

a(i) 


cos(#) + isin(@) € ACA) €» o € a( 


这 建议 我 们 用 Schur 分 解 来 计算 ReCACAO) : 


gr[( 和 与 全 ]@ = diaz (cos 0.) oos (0,). 


然后 用 公式 ;一 v1 一 局 来 计算 mala) AEE, “lel 
时 ,由 于 浮 点 运算 中 有 效 数字 的 抵消 ,这 个 公式 不 能 给 出 一 个 准确 
HEZE. HR E, BT GR ee BR ERE CA — A D) 72 来 计算 小 的 “ 正 
ay” qe AF fy. 但 这 样 的话 , 我 们 说 到 的 是 - -种 需要 一 对 满 Schur 分 
解 的 方法 , 故 它 失去 了 吸引 力 . 

Ammar ,Gragg 和 Reichel (1986) 给 出 了 一 种 可 避免 这 些 困难 
的 方法 , 它 涉 及 到 有 趣 的 奇异 值 分 解 的 应 用 .我 们 只 介绍 他 们 算法 


EE wO EE EE EE r EE 


中 有 关 特 征 值 的 那 .部 分 .算法 的 导出 足 构造 性 的 ,因为 它 实 际 上 
用 到 了 我 们 所 学 过 的 每 一 种 分 解 . 

第 -一 步 是 用 正 交 阵 把 A 化 为 上 Hessenberg fF, Q'AQ = H 
{经常 A 已 经 就 是 Hessenberg ÉR). PR ARTE, Al fig H A FJ 
约 , 且 它 的 次 对 角 元 为 正 数 . 

an ATA, WA 一 定 全 有 一 实 特征 值 ,因为 实 害 阵 约 复 特 
iE f&i Be SE Be A K Ha E. 在 这 种 情形 下 ,仔细 应 用 方程 Hx 
=x $ Hr= 一 7x, 用 站 (x) 工 作 量 就 可 把 原 问题 降 成 nn 一 1 维 . 见 
Gragg (1986). 因此 ,我 们 可 假定 n 为 偶数 . 

O HISSAR l, EMRE GER"; 
Ba 0 0 0 
G, = Galf) = (0 ° 
Ü 5 “C 
Ü 0 O EL. 
其 中 c, = cos( 4,2, s; = sim(% ),0< $ <=. WWE Guon, 
G, - i ,使 得 
H = (Gite G,-, )diag(1,---,1, — cn). 
其 中 c= 11. REZ H ñ) ORAS. ERA s).-",s,- 2 AW 
US fcu. R” BE EAE ER AEREE A. A E 8] 
阵 的 行列 式 为 一 1. 所 以 det HO = c, , T 3 E H BJ FE B BJ R 
Ac, = -1, 则 | 1,1] ACH). dx fh fibi F aba] A T 
SE EY. 
所 以 总 的 说 来 ,我 们 可 假设 z 为 偶数 , 且 
H = G (i): Ga- Pn) Gt $,), 
这 里 G, = G,(¢,) =diag(1,--1, -c,),c, = 1 要求 的 特征 值 为 
ACH) = |cos(0,) + isin( 6,) 12, 
其 中 m=n/2. 

余弦 值 c1,-…,cs 称 为 Schur 参数 . 正如 我 们 所 指出 的 ,相应 

ATE Se BE H 的 次 对 角 元 .应 用 这 些 数 ,可 以 显 式 地 构造 一 对 角 


EE Be, Bs © ən" "使 得 
a(Be(L: m,1: m))= |cos(6,72),*7,c0s( 6,72) |, (12.6.5) 
gl Bs(1l: m,1: m))- 1sin(872),--,5n(8,72)] , 
(12.6.6) 
Bc(1:m,1: m) _ Bs(1: m, l: m ) BJ REL RT UARA SVD 
TLIKCKHI.24 00, im/2 时 ,可 以 从 sin( 8, 72 ER IB 9, ;x/2=< 
8, « x BY, BÍ ELA, cosC8, 205 K H1. Be 和 Bs 的 构造 基于 下 面 二 个 事 
Sk: 
1. HATH = H.H, AY H. do H, 分 别 是 奇数 个 和 偶数 个 
B FE 9) X: 
H, = G Gs" G. 1, 
H, = G;Gyc7G,, 
ik b Ap EE — Bp HRB — Bp 3: ZH oY Me sr f6 F Bp 
H, = diag( R($)), R083), ROS, 1)), (12.6.7) 
H, —-diag( 1l, R($2), RC&,) -,RCÀ, 2), 1), (12.6.8) 


其 中 
of- cos($)  sin($) ; 
Rs) = | co) | (12.6.9) 
2. 对 称 三 对 角 阵 
c = 一 了 和 s = l (12.6.10) 
8) 4r DETÉ 79 : 
ACC) = {+ c05(0,/2),:, + c08(6,72)], — (12.6.1D 
ACS) = [£sin(0;72) ^, + sin(@,, 72) |. (12.6.12) 


3. T A 393& 35€ (12.6.5) 9 (12.6.6) 6 SOT FE: 
UNV. = Bc, UISVs- Bs. 
EREE Uc, Vc, Us, Vs 是 已 知 的 反射 阵 G 和 简单 的 交 
接 阵 的 乘积 . 
我 们 用 证 明 H HHH, 相似 来 开始 这 三 个 事实 的 验证 .n=8 


时 足以 说明 问题 .定义 正 交 阵 P: 
(F3 = G56G41G5GoG;Gs, 
P = FSF,, ii Fs = G;G,G+G,. 
F- = G7Gs. 
既然 这 些 反射 阵 足 对 称 的 ,已 当 |i — j |22 H, G,G, = GG, ,所 以 
A: 
F HF] = (G,G,G5G«G;G&0(G1G2G3G4G5GsG5Gs) 
(G3G4G5Gs4G; Ga). 
= (G1G4GsGsG;Gg) GG 
G1G;G4G4G4GqG;G,, 
F;,(F4HFI)FI- (G. GGGXG, G,G;G,GsG,G;Gs)( G;G,íG;Gs)! 
= (G5G,G7G,)G,G;G62G, 
= G1G4G5G;G4Gq4G;Gs 
PHP! = F3 F; F HFI F1) FF 
= (G7G3)(G,G3G5G2G4,6,G7G3)(G7G3)" 
= (6,G3G65G7)(G.G4G6,G,) = HH.. 
我 们 需要 建立 的 三 个 事实 中 的 第 二 个 反映 了 互 = HH, 的 特 
征 值 和 (12.6.10) 中 和 阵 CYS 的 特征 值 之 间 的 联系 .从 (12.6.7) 
和 (12.6.8) 可 知 这 些 窍 阵 是 对 称 的 ,三 对 角 的 和 和 不 可 约 的 , 例 


| S| Ü) Ü 
MEET cy — €2 52 Ü 
C = , 
52 Co 77 4 +4 
L Ü 0 53 C4 77 CA 
— C] $1 0 0 
1 | 5 cp + c> — $2 0 
S => 
2 Ü ^ $2 — €2 ^ €3 ~ 33 
Ü Ü $3 cyt ty 
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利用 定义 , 易 证 : 
HH HH, + (OH)! — HH, + HH, 
2 B 2 2 
H ! HT HH.- (HH)' HH - H.H, 
21 24 21 
这 表明 Re(ACH)) =A OC- D Im(A(QID) = AC- 2iCS). Be, 
(12.6.11):451(12.6.12) I v. 
AGH g 8 0 ER RB n 阶 阵 的 特征 值 ,更 有 效 的 是 
把 它们 帘 为 m BERN A AA. RITA At C 和 .基于 H, 
和 H, 的 Schur 分 解 的 正 交 等 价 变换 可 完成 此 任务 .(12.6.9) 定 义 
的 2 阶 反射 阵 R($) 的 特征 值 为 |! 和 一 1, 它 的 Schur 分 解 如 下 : 


méRGRGO-| | 


=?c’-f, 


= — SC. 


因此 , 若 
Q, = diag( R( $172), RC 4372), RCS, 172)), 
Q. = diag( 1, RÉ $5/22,R(CÀ,72 ,-, R(% 572), — 1), 
WA (12.6.7)30(12.6.8) 8] 4H H, A H, 有 下 列 分 解 : 
OHO, = D, = diag(1, — 1,1, —1,7,1, — 1), 
QHO, = D, = diag(1,1, - 1,1, — 1,:,1, —1, — 1). 
B E 


C = @c0, = > Q,H, + HQ. = 3 (00.9.9) + (60) D). 


s? = 0,90, = 50,(H, - HQ. = ) (D,(@0.) - (G9)D.) 


TAS CAS 有 相同 的 奇异 值 . 下 面 分 析 它 们 的 结构 .首先 ,注意 
到 0,0, Sank: 
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— ramai. — w. rr mnr rr rB akrar 


0.9. 一 


2o22 o xX x 
oc — X X X X 
coc oc X x X X 
cO cx x x xoc 

D x x X x oo 
x x x X coc 
x x< c — SG o — — 


É 
0 0 ù 0 x 
(n —8 的 例子 充分 说 明了 从 这 一 点 得 出 的 主要 思想 ). 如 果 DC, 
DDG. RTSH, W CY 0. 由 此 可 知 Ct 有 如 下 形状 : 


apo bi 
0 0 b 
ao 0 by 
d3 Ü ba 
C = Q,CQ, = 20 8 
4 5 
as Ü bg 
‘Ls 0 Ü 


Ga? bs 
类 似 地 , 若 D,CL i048 D,(j,j) 的 符 导 相同 , 则 ST? —0, Bic ug Ag 
SO B RR 


EG Ü dg 0 0 
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变换 这 些 矩阵 的 行 和 列 就 可 得 到 双 对 角形 式 : 
Be= CY ((13572468),[12463578)) 
ag Dl 
az b3 


GA bs : 


PT b, 
. as bs 
az Og 
$')((24681357],{12463578]} 


ey d; 


Bs 


£4 d4 


es dg 


HI 


dy f; 
不 难 证 明 a ,5,d,e 和 站 上 的 元 素 均 非 零 .这 说 明 Be(1:m 1: m) 
Al Bs(1:m ,1:?m) 的 奇异 值 均 不 相同 . 因为 
o(C) = 6( Bc) = {os(01/2), cos 0472) ,--- ,008(8,, 72) ,008( 6, 72) | , 
a(S) =o( Bs) = {sin€6,/2),sin(4,/2),---,sin( 8, 72) ,sin(6, 72) | , 
我 们 证 实 了 (12.6.5) 和 (12.6.6) 


习 题 
12.6.1 BEW AC mx" 考 虚 在 约束 : 
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C -U. CEU nlp 
D'V—0, DE MN mq 


T 
ERR OPA | ye “a € “的 稳定 点 问题 试 说 明 怎 样 
AWA C ID HEEZE, BHM a ERS TIEREN SVD 3 k 
We at, [o] Rl . 
12.6.2 BAG 7" pe +>" Be rankCA) = n ranki B) — p. rH 
AK Bg 37 TA , BR Gn fup K Ft E S 


QU 
b Arl? | ab | 


一 - 一 TImITI 


he li| rdi Hr on | row | 
| 
I 
l 


HE AA ix A -- ER PLS PR E Q SEIT 

12.6.3 HAC TUM BO POURRA p.dE ,说明 如 何在 
lvllo=l, Brad Wee Pee ch AL FRB. 

12.6.4 HAGUE ANAL RRE CE "Sl E KOR YY 
EHH Lanczos 方法 求 国 数 rCr = eicrzraz 在 约束 Cr 一 DT 下 的 稳定 点 .这 
TE BAY ORA C — OR. 

0 A, O0 U^ 
P D A; 
0 0 O 
LA, 0 0 0j 
REA = ALAS A.A. 的 特征 值 和 特征 向 是 之 癌 的 关系 .假设 A PUO ft DR 
都 是 方 阵 . 

12.6.6 GER E (12.6.2) p i APA (AU) OA K 
438 HR ep e AUC. 

12.6.7 [838 $4.7 的 内 容 . 我 们 知 可 以 在 O( 22) 4 flop 之 内 计算 对 称 
正定 的 Toeplitz E W B9 RETE ER, AR- TEE ID E um I Go pps 
(12.6.5) Bete EC iR]. 

12.6.8 - TREE A € "JE Hn on oS ERIS OR ARK A 2 I] A EE 
m Bl A = EAE, ELS L6: .n:- 01:1). EHI: H Ron 2m, MORK g 一 
ITL E, 

JILE, - a n 
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D 
12.6.5 REHEB A 一 x A | 的 特征 值 和 特征 向 量 
3 


Q AQ = (An + A1; E,, Ü | 
L 0 An- ApEn 

其 中 An 2 Am kim), An ACL mm t lin). HERA: n 2m 则 中 
.对称 阵 的 Schur 分 解 可 只 用 对 称 和 矩阵 的 Schur 分 解 所 需 浮 点 次 数 的 二 就 
可 实现 ,在 两 种 情 沈 下 前 假 定 可 用 QR 4E 4 nc 2m + 1 bf EMA? 

12.6.9 iF.GCu"XEXIEB.HQOQ- (Qu Ql] — s Bu EX 
阵 . 说 明 如 何 计算 Q m Pg 

fO, p) = u(QTF0O,) + u(Q1GQ2. 

BK. (S3 aC QTFQD + tr QFGQ2) =1r OIF - Gg, ulG).) 

12.6.10 AE er niet ,考虑 在 所 有 穆 数 不 超过 r Rey AK “FTE REB 


Tun, tart 
阵 的 集合 上 极 小 化 上 A 一 Si .证 明 : S = D> Aga? 是 这 个 问题 的 解 ,其 


A+A! . 1 _ 
in = Qdiag(A,, Age An) @) 是 4 的 对 称 部 分 的 Schur 53 fF. Q = 
Lays sgn JA 

AL g unu Z= Ap > Ü Zz Age es An. 
12.6.1. WORM n CIO ,证 明 H LT H H, E30 12.6.4 节 中 所 
m X. 
12.6.12 ”证 明 在 和 .6.4 节 中 的 双 对 角 阵 BO: m, lim) Al BsCl:m, 
Lion 3 fü TARA ICES. 3 ie EAN B) 18. 


A G 
12.6.13 形 如 M = | aT] t 2x 阶 实 短 阵 称 为 是 Homilion e 


阵 , 若 A 和 下 ,GE 8**" 是 对 称 的 .等 价 地 ,如 果 定 义 正 交 阵 
0 I, 
i= |. I, o] 
GW M C R28 nE Hamilton A ERGAB [X 4 JUMI = 一 M. (Ca) iF HH Hamilton 
s Ha a fl ri — fh — IF PORE SH R. (b) yE PE scu gesppe A ITSJ 
= — ç T 证 明 : 若 S BEE. M 是 Hamilton RE EE , W S^ MS 也 是 Hamil- 
ton 8 PE. (c) TEA: dp Q € Un HE IE EAS, Hi £ EBE, OM Q = 
| Q, Q 
~ Q: Qi 
G(i,i tn, @ i Givens Me TE B JE IE SE KMPER, n Wr Householder E FF 89 
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| ,这 里 OFO,+Q1Q,=1, H.QiQh 是 对 称 的 .因此 ,一 个 形 如 


E HR th Eng. CA Oi — PE SSSERREE U 使 得 


D MU = [ "ul 
D -H 
其 中 五 是 上 Hessenberg PF , D 2358 ffo ER . 
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右 特 征 向 量 360 
MALEH EA 617 
约束 特征 问题 718 

2S Rr] — 3€ 671 
运算 级 14 

H5 706 
整体 间 42—43 
整体 最 小 二 乘 688 
正规 矩阵 363 

正规 偏离 度 364 
EMH SAR 373 
EX Procrustes HA 695 
816， 


ipaexkfCB fk 385,477 
iE EGR (EA Ritz D 490 
TE eA PR RE OE ea) 723 
iE xo 77 

正 变 基 计算 265 
FÆ 239 

EHE 83 

EZER WYER 246 
正 交 阵 的 分 解 形 式 245 
fk 54 

指数 区 间 67 

Tk 1 修正 462,513,701 
FS LSPA 297 
ame 123 

重 特征 值 366 

重 特征 秆 的 条 件数 374 一 -3735 
重 特征 值 与 Lanczos 算法 ”562 
PETER] 384 

主角 eos 

主 特征 向 量 383 

主 特征 值 383 

主 向 最 698 

主 元 (LOS 

FFA IH 15 

jg BE 359 

TERE 30 

子 空间 的 基 54 

FS HAZE 699 

子 空间 的 旋转 ”695 
FEZA 697 
子 空间 之 加 的 距离 84 
Rik bE 604 

RE PRE AE 604 
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最 小 二 乘 的 基 解 ”300 ED DEPA 273,297 
最小 二 乘 的 计算 量 305 Beh Rea RW 280—283 
E bZ HB 280—283 左 特征 向 量 360 
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